Замок стоит на известняковом холме, который поднимается над остальным городом почти на тридцать метров, — здесь было укрепление ещё до прихода датчан в 1219 году. Каменный замок построил Тевтонский орден в четырнадцатом веке, и от него сохранились три угловые башни и часть стен.
Самая известная — Длинный Герман, высотой около сорока пяти метров. На ней с 1918 года поднимают государственный флаг, и это делают каждое утро с восходом солнца под гимн; спускают на закате. Для страны это главный символ суверенитета, и в советские годы флаг именно отсюда сняли, а в 1989-м вернули.
Со стороны двора замок выглядит иначе: в конце восемнадцатого века при Екатерине Второй восточное крыло перестроили в дворец в стиле барокко и выкрасили в розовый. Сейчас в нём заседает парламент, поэтому внутрь пускают только с экскурсией и по записи, зато экскурсии бесплатные.
Вокруг замка — тихие улицы Вышгорода с посольствами, особняками и двумя смотровыми площадками, откуда открывается лучший вид на черепичные крыши нижнего города, порт и залив.
Двор замка открыт свободно, подъём на башню возможен только в составе экскурсии. От Ратушной площади идти минут десять в гору по одной из двух старых улиц — Длинной или Короткой ноге; они и назывались так по крутизне подъёма.
Смена флага на башне собирает зрителей: летом это происходит около четырёх утра, зимой — ближе к девяти.
Во дворе есть кафе, а на площади перед замком — стоянка для экскурсионных автобусов, и утром там шумно.
Экскурсии в парламент проводят в будни и записывают на них заранее.
