Дворец построили в 1764–1766 годах как место отдыха императорской семьи по дороге из Петербурга в Москву. Проект приписывают Петру Никитину, работавшему над восстановлением Твери после большого пожара; в конце столетия здание перестроил Карл Росси для великой княгини Екатерины Павловны, жившей здесь с мужем-губернатором.
При ней дворец стал заметным местом: сюда приезжали Карамзин, читавший здесь главы «Истории государства Российского», и Пушкин.
Архитектура — раннее классицистическое здание с чертами барокко: центральный корпус с флигелями, парадная лестница, анфилада залов с лепниной и наборным паркетом.
Сейчас во дворце работает картинная галерея. Собрание неожиданно сильное: русская живопись восемнадцатого-двадцатого веков, включая Венецианова, работавшего в этих местах, Левитана, Репина, Айвазовского, а также древнерусское искусство и мебель.
Реставрация тянулась много лет и закончилась в 2017 году; интерьеры восстановлены по чертежам.
Вокруг разбит парк, спускающийся к Волге.
Вход платный, понедельник выходной. Осмотр занимает полтора-два часа. Дворец стоит в центре, между Волгой и главной площадью, и от него удобно начинать прогулку по городу.
В саду перед дворцом стоят скамейки, а от него идёт спуск к набережной.
Экскурсии по галерее идут по расписанию, аудиогид выдают на входе.
Съёмка внутри платная.
В здании работает кафе, гардероб обязателен.
В анфиладе восстановлены Парадная столовая, Тронный зал и жилые комнаты великой княгини.
Летом во дворе проходят концерты, вход на них отдельный.
От дворца до Староволжского моста идти пятнадцать минут.
