En 1460 le shogun Ashikaga Yoshimasa ordonne la construction d'une villa pour ses vieux jours dans la lignée du Pavillon d'or construit par son grand-père, Ashikaga Yoshimitsu. A cause des guerres civiles qui ravagèrent Kyoto, la villa ne fut terminée qu'en 1482. Le projet originel de le recouvrir d'argent fut abandonné. En 1485 Yoshimasa devint moine et sa villa devint un temple bouddhiste.