Les 13 hectares de jardin ont beaucoup changé au cours des siècles. Ils ont même été transformés en potager au 18ème siècle, faute de crédits pour l'entretien. C'est Lord Curzon (vice-roi des Indes de 1899 à 1905) qui sera l'artisan d'une rénovation à l'identique au 20ème siècle.