Павильон построил в 1482 году сёгун Асикага Ёсимаса как загородную усадьбу для ухода от дел — по образцу Золотого павильона, возведённого его дедом. Серебром его покрыть собирались, но так и не покрыли: сначала не было денег из-за войны, потом умер хозяин, и здание осталось деревянным. Название прижилось всё равно.
Именно здесь сложился стиль, который потом назовут основой японской эстетики: сдержанность, простые материалы, красота неяркого и незавершённого. В усадьбе Ёсимасы появились чайная церемония в нынешнем виде, икебана и комната с нишей и татами, ставшая образцом для японского жилого интерьера на пятьсот лет вперёд.
Сад делится на две части. Нижняя — сухой сад с гравием: ровная площадка, расчёсанная волнами, и рядом усечённый конус высотой почти два метра, который называют Лунной площадкой. Верхняя — мховый сад на склоне холма с ручьями, мостиками и дорожкой, поднимающейся к смотровой площадке, откуда виден весь город.
Маршрут односторонний и занимает около сорока минут.
Вход платный, храм открыт с раннего утра. Лучшее время — первые часы после открытия или ноябрь, когда клёны на склоне краснеют. От павильона начинается Тропа философа, ведущая на юг вдоль канала, так что дальше обычно идут пешком.
Гравийный конус подновляют вручную каждые несколько дней, и следы работы видно.
В дождь дорожки в верхнем саду становятся скользкими: они выложены камнем и идут по склону.
Магазины и кафе у входа закрываются рано, около пяти вечера.
Билет продают у ворот, очередь бывает по утрам выходных.