История сада «Эрмитаж» началась в первой половине XIX века. Но это был не тот сад, который мы знаем сейчас. И находился он в другом месте, на Божедомке. Менялись владельцы сада, и сам сад на Божедомке не раз менял имя – был он и «Эрмитажем», и «Элизиумом», и снова «Эрмитажем».

Сады как места общественного увеселения появились в Москве во второй половине XIX века. Их организаторы, называвшиеся тогда «содержателями», брали в аренду городские дворянские усадьбы с парками и за небольшую входную плату предлагали публике разного рода развлечения: от выступлений оркестров до демонстрации полетов воздушных шаров.