Le territoire de cette tenue est démembré de la seigneurie de Kermesquel lorsqu'en 1587, Jacques de la Touche, époux d'Ysabeau de Kermesquel, vend le domaine à Vincent Cillart, bourgeois de Vannes. C'est donc de la fin du 16e ou du début du 17e siècle que date la première construction qui occupait sans doute la partie centrale et est du grand logis actuel. De ce bâtiment ne reste aujourd'hui que l'enveloppe. En 1699, le mariage de Jeanne-Thérèse du Fresne, une des héritières du Ménimur, avec Jean-Baptiste de Lescoët marque le départ de travaux importants : la lucarne nord qui porte le blason des Lescoët (un épervier et trois coquilles) confirme ces travaux. Outre l'agrandissement vers l'ouest de deux travées, les travaux du 18e siècle ont modifé le premier logis en totalité, en particulier l'aménagement intérieur des chambres de l'aile est, la création d'une cage d'escalier ouverte décalée par rapport à l'axe médian et la mise au goût du jour des fenêtres de l'élévation sud. La date de construction n'est pas connue, mais on note en 1721-1725 la fourniture de bois par Olivier Delourme. Quelques travaux d'aménagement et de boiseries des chambres ont lieu au 19e siècle, peut-être peu après 1832, date à laquelle François-Marie de Forges, descendant des Lescoët vend à la famille Pierre-Eugène du Portal. Dans la seconde moitié du 19e siècle, la mise en place de la ligne de chemin de fer coupe le manoir de son accès principal vers la ville par une allée plantée menant au moulin de Rohan, le seul accès conservé étant le chemin de Bernard au nord du jardin. En 1922, le domaine est vendu à la communauté des Ursulines qui y transfère son établissement d'enseignement, antérieurement situé dans l'ancien couvent des capucins de Calmont-Haut. Dès 1925, l'architecte Joseph Caubert de Cléry établit des plans pour la construction d'un grand bâtiment regroupant internat et classes, ainsi que de la chapelle, reliée à l'extrémité est du manoir, et agrandie en 1953 par son fils Guy Caubert de Cléry également architecte. En 1956, ce dernier est à l'origine de la modification du rez-de-chaussée de la partie est du logis, puis de la suppression des lucarnes de l'élévation sud, à l'exception d'une seule à l'est. Une aile en retour de la dernière travée ouest est ajoutée à la même époque. L'est de la cour est occupé par deux corps de logis en alignement. Le logis sud, sans étage, daté 1632 sur la fenêtre sud, a vu son élévation est très modifiée à la fin du 19e siècle (création de fenêtres) et au milieu du 20e siècle (création de lucarnes). Le pavillon à étage au nord qui date également de 1632 a subi moins de remaniements, à l'exception de percements de fenêtres au rez-de-chaussée, côté nord et à l'étage vers l'est. La communauté a successivement doté le lycée de nouveaux bâtiments scolaires sur les terres de la propriété en 1967, 1969, 1970, occasionnant la disparition de la ferme de Kerlosquet, dépendant du manoir, figurant sur la plan de 1844 et qui semblait dater du 18e siècle.
Le manoir a été détruit après inventaire en 2015.
Fils de Joseph Caubert de Cléry, Guy Caubert de Cléry est nommé architecte départemental le 15 décembre 1940 et le reste jusqu'en 1974.