La seigneurie de Limoges, dont les archives ne subsistent qu'en fragments, est mentionnée en 1448 comme appartenant à Bonabes du Colledo par sa femme, fille de Jean Jehanno. Elle est la propriété successive de puissantes familles du pays vannetais : du Colledo jusqu'au milieu du 16e siècle, puis Phelippot de Coetregal. A partir du 17e siècle, se succèdent les familles Peschart de Lourme (1600-1660), Trevegat, Blevin et Charpentier. Au début du 19e siècle, les Le Mintier de Lehellec achètent la propriété qu'ils conservent jusqu'en 1962. La congrégation des soeurs de la Charité de Saint Louis achète la propriété pour agrandir leur clinique à l'époque située sur la Rabine. Entre 1963 et 1965, un nouvel établissement médical "la polyclinique du parc" est édifié en partie sur l'emplacement d'une petite chapelle domestique (visible sur le cadastre de 1844) et greffé au pavillon nord. Il ne reste aucune trace du manoir médiéval excepté peut-être le remploi d'une ouverture à cavet située à droite de la façade est du logis. Des désordres dans la maçonnerie montrent des parties plus anciennes. Une photographie prise dans les années 1950 montre en effet un autre pavillon à droite du premier qui semble avoir été ensuite englobé dans le corps de logis principal et qui pourrait correspondre à un édifice plus ancien. Le château actuel semble avoir été édifié dans la seconde moitié du 17e siècle pour François-René de Trevegat, conseiller au Parlement de Bretagne. Par la dimension de ses fenêtres, la forme de sa toiture et la position des lucarnes, le pavillon nord, plus haut que la partie centrale, pourrait être de quelques dizaines d'années plus récent et avoir été lors de l'édification du logis remis au goût du jour. A l'arrière, visible sur le cadastre ancien de 1844, le château donnait sur des jardins à terrasses avec parterres à la française, pavillons, orangerie. Plus à l'est se trouvait un verger et une grande prairie fermée par un mur d'enclos. En 1996, les jardins de Limoges ont fait l'objet de projets de lotissements. "Le Clos de Limoges" a intégré dans son espace paysager l'existence d'une ancienne fontaine qui avec un autre bassin et deux grands viviers non conservés formaient un ensemble de structures du château datables au moins de la fin du 18e siècle. La fontaine et l'emprise de cette fontaine ont été intégrés au domaine public communal en 2001. Les lucarnes de la tour d'escalier ont été remplacées. Les écuries, restaurées en habitation à la fin du 20e siècle, ont été percées de deux baies supplémentaires. Quant à la ferme située au sud du château, elle a également été remaniée à la fin du 20e siècle.