Selon Banéat, le couvent de calvairiennes, construit dans le deuxième quart du 17e siècle, occupe l´emplacement d´un prieuré, détruit au 10e siècle, qui dépendait du domaine épiscopal. Il est donné à Mainguené de la Guerche, en 1032, qui le relève et le cède à l´abbaye Saint-Julien de Tours, en 1037. Abandonné au 16e siècle, il deviendra la propriété des calvairiennes en 1633. Les religieuses seront transférées dans d´autres monastères, dans la deuxième moitié du 18e siècle, et l´établissement saisi à la Révolution. Entre 1792 et 1808, il est affecté aux militaires, date à laquelle on y installe un refuge. En 1810, il servira momentanément de caserne, puis à nouveau de refuge.
L´édifice est partiellement visible sur le plan Caze de la Bove (1783) qui figure les dénivelés de terrains successifs qui surplombent les marais bordant le site de confluence des rivières de la Vilaine et de l´Ille et le cimetière, au sud-est des bâtiments conventuels.
Le cadastre de 1842 (doc. 1) en donne une première représentation précise. Les bâtiments conventuels, de plan en L, ferment les côtés sud et est du cloître, au nord duquel se situe la chapelle. Un bâtiment isolé apparaît au sud, à l´est d´un oratoire de plan carré à pans coupés ; celui-ci est desservi par un chemin qui relie la nouvelle route de Brest et la ruelle Saint-Cyr (actuelle rue Papu).
Les archives communales indiquent que l´édifice est agrandi en 1930 et 1932, par l´entrepreneur Novello, de dépendances associées aux logements de la Maison de Refuge, construite au début du 20e siècle, à l´est des bâtiments conventuels. L´architecte Couasnon dessine les plans d´une buanderie et d´une cuisine (1930) puis de bains-douches (1932) actuellement détruits, comme le bâtiment reconstruit, en 1946, par l´architecte Charles Rallé. Entre 1956 et 1965, plusieurs travaux d´agrandissement sont réalisés sur les plans des architectes Coirre et Glorot. L´extension des bâtiments conventuels, au nord, en bordure de la rue Papu est construite en 1956 ; la construction d´un dortoir et d´un réfectoire, implantés au sud, à proximité de la rue Louis-Guilloux, a lieu en 1962, suivie de celle d´une salle d´éducation physique, en 1965.