Место, на котором был построен Императорский воспитательный дом, находится в самом центре Москвы и на протяжении многих столетий являлось сценой для множества интересных исторических событий.

Впервые Васильевский луг упоминается в русских летописях еще в 1468 году. Благодаря близости к Кремлю луг использовали для выпаса и водопоя великокняжеских табунов, а также для сбора конных дружин при подготовке к военным походам.

Расположенная рядом с реками Москвой и Яузой, а также пронизанная крупным ручьем Рачкой, вытекающим из Чистых Прудов (позднее заключен в подземный коллектор), во время весенних половодий эта местность затоплялась, покрываясь плодородным илом, благодаря которому луг, а позднее и сад, разведенный на его месте, очень подходил для садоводства и выращивания фруктов и овощей.

Предания разнятся в происхождении названия луга. Известно, что принадлежал он Василию III, отцу Ивана Грозного и, возможно, носит его имя. Но также существует легенда, что место это названо по имени известного московского юродивого Василия Блаженного, который проводил на нем много времени и, возможно, даже жил на его территории.

В конце XVI века Васильевский луг вошёл в состав Белого города, и в 1586 году зодчий Фёдор Конь начал здесь постройку каменных стен и башен Белого города, камень которых намного позднее использовался при строительстве Императорского воспитательного дома.

Во второй половине XVII века в царствование Алексея Михайловича, увлекавшегося садоводством,  на месте плодородного луга развели Васильевский сад, который стал крупнейшим садовым хозяйством России того времени. В 1700 году в саду росло более 10 000 деревьев и почти 3000 различных плодово-ягодных кустарников – малины, красной и черной смородины и пр., и это не считая капусты, огурцов и другой летней зелени.

В 1712 на Васильевский луг был переведен Гранатный двор, где хранился порох, ядра и другие артиллерийские принадлежности.

А в 1760-е годы ради воплощения грандиозного замысла Екатерины II и И.И. Бецкого сад был вырублен, обветшавшая стена Белого города разобрана, и началось строительство Воспитательного дома.