Avant sa reconstruction, le palais de justice est installé dans un bâtiment construit au 17e siècle par les Dames de la Retraite. Sans cesse restauré, le bâtiment ne convient plus. Le Conseil général décide sa reconstruction au même endroit après avoir recherché un autre emplacement. Les premiers plans sont dressés en 1861 par Emile Amé mais critiqués par les habitants qui signent une pétition adressée au préfet pour demander que le nouvel édifice de la justice bénéficie d'un plan d'urbanisme plus large et qu'il soit orienté vers les douves. Mais le Conseil général souhaite seulement exécuter "de grosses réparations dans la salle d'assises... Et la faire précéder d'une salle de pas perdus qui permettra d'un côté l'accès du tribunal civil et de l'autre, celui du tribunal de commerce".

L'architecte Eugène Hawke reprend les plans en 1862 selon une construction en 2 temps : celle d'abord de la salle d'assises puis celle des pas perdus flanquée du tribunal de commerce et du tribunal civil dont les plans sont dressés en 1866 mais qui ne seront pas exécutés pour des raisons d'économie. En 1867, la commission des bâtiments publics exclut la construction du tribunal de commerce qu'elle conserve sur son emplacement actuel. Le nouveau projet ne conserve ainsi que le tribunal civil composé d'un "bâtiment à 2 pavillons placés en avant de la salle des assises et en formant la façade" comprenant au premier étage la salle d'audience et la salle des pas perdus au rez-de-chaussée. Les travaux de construction sont réalisés par l'entrepreneur jean-Baptiste Tharreau. Les vieux lambris de l'ancienne salle d'audience sont récupérés et complétés par des lambris neufs. En 1869, l'ancien tribunal est détruit et le nouvel édifice ouvre ses portes. Très vite, la salle d'audience connaît des problèmes d'acoustique que des solutions expérimentées n'arriveront pas à résoudre. Les réformes judiciaires ont entraîné des travaux de restructuration. Des grosses réparations et extension au bâtiment initial ont été opérées dans les années 1960 sous l'égide de l'architecte départemental Guy Caubert de Cléry : rénovation du palais de justice en 1958 avec création d'un escalier central dans la salle des pas perdus, aménagements acoustiques dans la salle d'assises en 1962 et construction d'un tribunal d'instance en 1964 sur un terrain cédé gratuitement par la ville en limite parcellaire de la chambre d'agriculture. Les dernières étant celles des années 2000 menée par le cabinet Arcau de Vannes pour accueillir le pôle familial et en 2009 pour rénover le bâtiment initial et construire un bâtiment de liaison (en 2011) avec le tribunal d'instance siège d'un accueil commun.