Город стоит на плоской вершине столовой горы, обрывающейся почти отвесно со всех сторон, и попасть в него можно только по одной дороге. Возник он не позже шестого века как укреплённое поселение, потом был крепостью и тюрьмой крымских ханов, а с семнадцатого столетия здесь жила караимская община — от неё сохранились две кенассы, жилые усадьбы и кладбище в соседней балке.
Пещеры, давшие городу имя, — это в основном хозяйственные помещения, вырубленные под домами: погреба, загоны для скота, караульные казематы у ворот. Наверху видны улицы с колеями от повозок, продавленными в камне за столетия, фундаменты домов, остатки двух оборонительных стен и мавзолей Джанике-ханым — восьмигранная усыпальница дочери хана Тохтамыша, самая целая постройка на плато.
Жизнь ушла отсюда в девятнадцатом веке: когда караимам разрешили селиться где угодно, оставаться на безводной горе стало незачем. Последние жители покинули город в 1850-х годах.
Подъём начинается от Успенского монастыря и идёт вверх по лесной дороге минут сорок, местами круто. Есть и более пологий путь с другой стороны, но он длиннее.
Наверху ни тени, ни воды, ни укрытия от ветра, зато обзор на десятки километров — видно всю долину и соседние плато. Вода и головной убор обязательны, обувь нужна с жёсткой подошвой: камень отполирован до скользкого. Вход платный, касса у начала подъёма.
Спуск обратно многие делают через Иосафатову долину — старое караимское кладбище с тысячами резных надгробий под дубами. Идти там дольше, но тень плотная, и людей почти нет. Собак на территорию не пускают, велосипеды оставляют внизу.
