Музей занимает круглую церковь Великомученицы Екатерины, построенную в 1793 году по проекту Николая Львова, — редкую для провинции ротонду с колоннадой, стоящую на холме.
Валдай был известен колокольным литьём с восемнадцатого века. Через город шёл главный тракт между двумя столицами, и здешние ямщицкие колокольчики — небольшие, с чистым звоном — расходились по всей стране; на них ставили клеймо с именем мастера и городом. Есть и легенда о происхождении промысла: будто он пошёл от осколков вечевого колокола, разбившегося при перевозке из Новгорода.
В музее собраны колокола всех видов и эпох: ямщицкие и пастушьи, поддужные, корабельные рынды, буддийские и европейские, вплоть до китайских бронзовых. Показывают и технологию: формы, модели, инструмент, объясняют, почему сплав именно такой и как настраивают тон.
Главная особенность — звонить разрешают. По ходу экскурсии в колокола бьют и посетители, и это делает музей понятным без всяких объяснений.
Вход платный и недорогой, экскурсии идут по расписанию и стоят того. Осмотр занимает около часа. У музея есть филиал — Колокольный центр с большим собранием, в отдельном здании неподалёку; билеты бывают общими.
Здание само по себе стоит осмотра: круглый зал с куполом и колоннадой снаружи — работа известного архитектора, каких в уездных городах почти не встретишь.