Ce manoir appartenait au 14e siècle, à Guillaume de Châteauletard puis, aux du Fail jusqu'à la fin du 16e siècle. A la fin du 18e siècle, Château Létard appartenait aux du Breil de Pontbriand, comtes de Nevet ; à cette époque, le domaine est confisqué, puis vendu comme bien national le 8 messidor an 4 (26 juin 1796) à Thomas Jubault pour 15 092 francs. Au 19e siècle, les Le Douarain le vendent aux des Bouillons, qui font construire le nouveau château dans les années 1860. Actuellement, il ne subsiste qu'une petite partie des bâtiments d'origine. En effet, au début du 19e siècle, lors de la réalisation du premier cadastre de la commune, il existait de nombreux bâtiments à cet emplacement. Ils formaient une cour semi-fermée. Une chapelle se trouvait au sud-ouest de la cour ; elle a été remplacée par une chapelle moderne. Les bâtiments situés au sud sur le cadastre de 1812 semblent correspondre à l'ancienne métairie. Une nouvelle ferme a été construite à l'est, vraisemblablement au moment où le nouveau château a été édifié (années 1860). Outre une chapelle et une métairie, ce manoir possédait également un moulin au nord ; il était installé sur la rivière de la Seiche. Le bâtiment du manoir qui subsiste actuellement remonte peu ou prou au milieu du 16e siècle. La lucarne, qui orne le pavillon, permet d'avancer cette datation car elle possède un décor caractéristique de l'architecture de la Renaissance : pilastres cannelés, fronton semi-circulaire et coquille Saint-Jacques. C'est dans ce manoir qu'est né l'écrivain et magistrat breton Noël du Fail en 1520. Son oeuvre littéraire constitue un riche témoignage sur la société rurale du 16e siècle.