Ce beau musée est installé dans l'édifice néo-gothique édifié par Thomas Dobrée (1810-1895), armateur et collectionneur pour lui servir de résidence et de lieu d'exposition. Sur la parcelle de terrain qu'il achète il y a déjà le manoir épiscopal de La Touche érigé au 15ème siècle.