L'édifice actuel est construit sur l'emplacement du château de l'Hermine, ancienne résidence des Ducs de Bretagne, édifiée par Jean IV dans les années 1380 face au parc de la Garenne. Il s'appuyait sur l'enceinte agrandie et comprenait un corps de logis 'avec force petites tours issantes les unes sur le autres ' et 'deux grosses tours par le dehors', ainsi que le décrit Bertrand d'Argentré en 1582.

Le chantier se poursuit par la construction au 15e siècle des écuries ducales à l'ouest de la basse-cour, de la tour du Connétable sur l'enceinte et de la chapelle des Lices vers l'ouest de la place des Lices.

Les archives et les fouilles de la halle des Lices en 2000 ont révélé en partie la configuration de la basse-cour du château, ses écuries et les services de l'hôtel ducal, l'ensemble situé au nord du corps de logis. La date du départ de l'administration ducale pour Nantes en 1460 signe l’abandon du château ainsi que du projet de logis au pied de la tour du Connétable. Le château est cédé par Louis XIV en 1697 à la ville de Vannes qui emploie ses pierres à la restauration des murailles ou à la construction du quai Billy sur le port.

Le château est complètement détruit en 1798 par Julien Lagorce, traiteur pâtissier, qui achète en 1784 les deux tours déjà bien arasées ; il construit sur leur emplacement un hôtel où il tient un restaurant réputé sous le consulat. Acquis par l'Etat en 1876 pour y installer l'Ecole d'Artillerie du XIe corps d'armée, le bâtiment subit des modifications. En 1976, il devient la propriété de la ville de Vannes qui l'affecte à l'école de Droit du Morbihan puis à différentes activités associatives et culturelles.

De style néoclassique, l’édifice de plan allongé est construit sur un terrain en dénivellation, le niveau du sous-sol sur jardin étant contrebuté par une terrasse. L’élévation ordonnancée des façades est soulignée horizontalement par des bandeaux de pierre de taille marquant les niveaux ; le rythme vertical, accentuée par l’individualisation des

toitures, est dessiné par les pilastres à bossages limitant pavillons et corps central.

La surélévation intervenue au 19e siècle a

malheureusement altéré la structure néoclassique initiale des élévations en

noyant les frontons médian et latéraux dans les murs de façade.