L'installation des carmélites à Vannes est ancienne. Un premier couvent est fondé au Bondon par Françoise d'Amboise en 1463. Transferées aux Coets près de Nantes à partir de 1480, elles expriment le désir de revenir à Vannes et sont autorisées à fonder un autre couvent en 1517 en haut de la rue Hoche place Nazareth. Ce couvent est fermé en 1792 et les soeurs dispersées. L'Etat y installe la "Manutention militaire" et en 1824, du côté est, une "maison d'arrêt et de détention" qui partage en deux les édifices coupant l'église et le cloître.

C'est en 1866 que les carmélites (de la branche de sainte Thérèse d'Avila) s'installent dans le couvent actuel et achètent pour ce faire la propriété nommée Limorel, en bordure du chemin vicinal de grande communication de Vannes à Brech, actuellement rue Jean Gougaud et la prairie dite du Boucher, située à l'ouest de Limorel, séparée de cette dernière par un talus. Ces propriétés appartenaient respectivement à Madame Mazurier Kerouallin de Quintin et à Mademoiselle Le Page de Vannes.

Un premier bâtiment de plan rectangulaire est construit en 1866 et 1867 par Hawke, architecte départemental. Les travaux sont confiés à l'entrepreneur Tharaud installé rue des Tribunaux. Ce bâtiment correspond aujourd'hui à l'aile sud du cloître actuel et se distingue par sa couverture à croupe et longs pans brisés. Le mur nord de ce bâtiment conserve les vestiges d'anciennes ouvertures bouchées donnant aujourd'hui dans le cloître.

Un projet pour le parc au sud du bâtiment est dessiné par A. Beauvin le 9 juillet 1869.

En 1877 et 1878, l'architecte Fraboulet de Nantes est chargé de l'agrandissement du monastère. Il conçoit trois ailes complémentaires autour d'un cloître, la chapelle venant s'insérer dans l'aile nord. Pour construire l'aumônerie, les bâtiments de ferme qui composaient la propriété de Limorel sont abattus à l'exception d'une maison servant au jardinier, bâtie au coin des rues de la Loi et de l'ancien chemin de Bernus et d'un pavillon de retenue situé dans le jardin. Cette maison d'angle a été démolie en 1991 lors de l'élargissement de la rue Vincent Rouillé pour lequel la communauté a cédé à la ville de Vannes une bande de 4m de terrain. C'est aussi à la ville et à la même date qu'elle cède une bonne partie de son parc pour la construction d'une maison de retraite. Ce parc avait déjà été amputé de sa partie sud vers 1970 pour la construction de l'immeuble dit le Pratel. En 1924, la petite maison qui prolonge l'aumônerie a été surélevée d'un étage. Le projet est confié à l'architecte vannetais Caubert de Cléry et la réalisation à l'architecte Jamet de Vannes rue Hoche.