Понад двадцять років над будівництвом працюють видатні російські архітектори Василь Баженов і Матвій Казаков. Після смерті імператриці всі роботи припиняються. Мальовничий парк перетворюється на місце заміських прогулянок москвичів.

З XVII століття ці землі належали переважно російським царям або їхнім фаворитам. Тут будував свої хороми боярин Стрешньов – тесть першого російського царя Михайла Романова. Цар Олексій Михайлович приписав Чорну Грязь до своєї підмосковної резиденції Коломенське.

Будівництво почалося 1776 року і тривало до 1785 року. За цей час основні споруди були підведені під дах, були потиньковані і підготовлені до оздоблення інтер’єри. У 1785 році імператриця відвідала палац і залишилася дуже незадоволена. Особливо їй не сподобалися будівлі палацу.