L'ancienne forteresse de la famille Rohan-Guéméné est vendue en 1814 à un banquier, occupée pendant les Cent Jours (au printemps 1815), avant d'être acquise en 1843 par la famille Juttard-Lannivon. L'édifice s'achemine alors vers la ruine et ses nouveaux propriétaires font construire, au centre de l'enceinte fortifiée, une nouvelle demeure. Cette dernière a été transformée par une adjonction dans la 2e moitié du 20e siècle et abrite aujourd'hui la mairie de la ville. En 1885, le guide Joanne décrit les ruines du château comme offrant les traces de 9 tours dont 3 carrées récemment rebâties en partie.