Первое деревянное строение на этом месте было возведено для отставного русского генерала после русско-турецкой войны 1877—1878, его можно увидеть на полотнах известных художников-маринистов: И. К. Айвазовского, Л. Ф. Лагорио, А. П. Боголюбова, а также на фотографиях того времени.

Вторым хозяином этой удивительной дачи стал придворный врач А. К. Тобин. О нём также осталось очень мало сведений. После его смерти домиком некоторое время владела вдова, которая продала участок московской купчихе Рахманиной. Она снесла старое здание, и в скором времени появился деревянный замок, названный ею «Ласточкино гнездо».

Свой нынешний вид «Ласточкино гнездо» получило благодаря нефтяному промышленнику барону Штейнгелю, который любил отдыхать в Крыму. Штейнгель приобрёл на Аврориной скале дачный участок и решил построить там романтический замок, который напоминает средневековые сооружения на берегах Рейна. Проект нового дома был заказан инженеру и скульптору Леониду Шервуду, сыну архитектора Владимира Шервуда, автора Исторического музея на Красной площади в Москве.

Уже в 1912 году на тесной площадке отрога Монастыр-Бурун стоял оригинальный готический замок.

В начале Первой мировой войны имение купил московский купец П. Шелапутин, который открыл в замке ресторан. В скором времени купец умер и ресторан закрылся.

В 1930-е годы здесь находился читальный зал местного Дома отдыха, но помещение признали аварийным и закрыли.

После реконструкции в 1970-х здесь ресторан. Здание становится узнаваемым символом Крыма.

После реконструкции, в 2002 году строение вновь открылось для посещения. Вначале в нём располагался ресторан, а возле стен дворца работал большой рынок крымских сувениров.

Добраться до замка не так просто: вначале надо спуститься вниз к морю, а затем подняться на скалу.