Le premier couvent à s´établir dans la ville est celui des Franciscains, (rue Noé), dont l´acte de fondation par le duc Jean Ier remonte à 1260. Il n´en subsiste aucune trace, à l´exception du nom de la tour Saint-François, élément du rempart qui le bordait. C´est le seul qui put être construit à l´intérieur des murs, en raison de son implantation précoce à Vannes. Les autres plus tardifs seront nécessairement situés à l´extérieur des murs, s´intercalant entre les faubourgs médiévaux. Souvent très proches de l´enceinte, ils formeront comme dans de nombreuses villes françaises une ceinture empêchant l´extension urbaine (les Ursulines, les Carmes déchaussés, la Retraite de Catherine de Francheville et le Père Eternel au sud ouest, les Jacobins à l´est, la Visitation et le Petit Couvent à l´ouest, sans compter le collège au nord-ouest et la Retraite du Mené au nord).