En Juillet 1615 Ieyasu Tokugawa entreprend le siège du chateau qui finit par tomber, et le clan Toyotomi disparait. Le chateau et sa tour principale feront l'objet de plusieurs rénovations et reconstructions après avoir subi toutes les vicissitudes de l'histoire du Japon.