На рубеже XVIII и XIX столетий в Москве существовала историческая мечеть, известная также как Татарская. Она располагалась в пределах двора князя Суламита-мурзы Симинея, служившего переводчиком в Иностранной коллегии. Трагический пожар 1812 года положил конец её существованию. После этого, в августе 1816 года, мусульманские купцы обратились с прошением о возведении новой мечети, но получили отказ. Лишь в конце 1823 года община получила долгожданное разрешение на обустройство молитвенного дома. Однако это разрешение было сопряжено с условиями: здание не должно было именоваться мечетью и внешне не должно было выдавать своего назначения, оставаясь неотличимым от обычных домов. Так, мечеть тайно функционировала под видом скромного одноэтажного строения до 1880 года, когда наконец было дано разрешение на её перестройку с возведением минарета и купола.
Под руководством архитектора Г. Ивницкого была проведена масштабная перестройка здания мечети. В результате работ на восточном и западном фасадах были возведены новые объёмы, а над ними, а также над основной крышей мечети, появились минареты. Предполагается, что с учётом подвалов, двора и прилегающего медресе, вместимость Московской исторической мечети возросла до 1500 человек. Среди тех, кто служил имам-хатыбом в мечети, были Рафик Агеев, Хайретдин Агеев и Абдулла Шамсутдинов.
Однако, в 1939 году историческая мечеть была закрыта, а её минарет был разрушен. Печальная участь постигла и последнего имама, Абдуллу Шамсутдинова, который был репрессирован и расстрелян в 1936 году. В здании мечети впоследствии размещались военкомат и различные мастерские. После распада Советского Союза, в конце 1980-х – начале 1990-х годов, мусульманская община Москвы, включая уважаемых старейшин и аксакалов татарской диаспоры, начала активные действия по возвращению мечети верующим. И в январе 1991 года Московский городской совет принял положительное решение по реституции. Год спустя при финансовой поддержке посольства Королевства Саудовской Аравии в Москве в мечети были произведении реставрационные работы. И уже в 1993 году её открыли для посещения мусульман. С 1999 году собственником является мусульманская религиозная организации «Историческая мечеть».