La ville de Ploërmel était fortifiée dès le début du 12e siècle. La ville appartenait en propre au domaine ducal ; les ducs y possédaient un château où souvent ils résidèrent (cf. Charte de 1289, citée par Ropartz). "Le mur d'enceinte avait environ 17 mètres de hauteur sur 2, 50 mètres ou 3 mètres de large. Il était tout autour défendu par un glacis, qui en était séparé par des douves profondes, larges d'environ 15 mètres. Certaines parties de ces fortifications appartiennent au XIIIe siècle, d'autres, en plus grand nombre, aux siècles suivants jusques et y compris le XVIe siècle : la superficie totale de la place était d'environ 2 hectares" (Ropartz, op. cit. p. 155-156, citant l'abbé Guilloux).

Ropartz cite également M. de Courcy : "Si cette enceinte a perdu ses trois portes, elle a conservé en grande partie des murs munis de mâchicoulis, ses douves et trois de ses tours. La façade ouest de l'église Saint-Armel touche aux remparts et à une tour, d'où les murs suivent la place Royale en se dirigeant vers la prison. C'est le front orienté à l'est que sont les fossés les plus profonds et une tour bien conservée à l'angle des courtines nord et est"... Leguay (op. cit., p. 284) et Bellevue (op. cit., p. 17) donnent un plan des fortifications.

L'enceinte de plan polygonal irrégulier comprend trois portes flanquées de deux tours chacune : à l'est, la Porte d'en Haut, au sud, la Porte Saint-Nicolas, à l'ouest, la Porte Saint-Armel ou Porte d'en Bas ; au nord simple poterne. Cinq autres tours son implantées sur les saillants de l'enceinte.

"L’œuvre ne donne pas l'impression d'être très soignée" (Leguay, op. cit. p. 176).

La destruction des fortifications eut lieu au cours du 18e siècle. Le Mené (Histoire des paroisses du Morbihan, p. 137) en donne le détail : effondrement côté sud en 1751 ; mur du chevet de l'église détruit en 1752 ; la Porte d'en Bas ou Saint-Armel) démolie en 1764 ; la Porte d'en Haut, en 1778 ; autre démolition, "pour cause d'embellissement", en 1784.

Bourde : 1764 devis de démolition partielle des fortifications par Alexandre Chevalier, ingénieur des ponts et chaussées.