Edifice construit dans la 2e moitié du 19e siècle dans le style néogothique. Il appartient à M. Malherbe de la Bouexière au début du 20e siècle. (Elise LAURANCEAU, 2004)
L'historique a été complété par des recherches approfondies en 2015 par Jeanne Guéguen.
Les terres de Toulven et l’ancien manoir appartenaient à la famille de la Hubaudière. Le 20 mai 1853 Antoine de la Hubaudière laisse à Ferdinand-Alexandre Malherbe de la Bouëxière les terres de Toulven, la métairie de Toulven, et les métairies de Kerhuellah, Kergreis ainsi qu’une briqueterie. Il aurait construit le château de Toulven dans les années 1870. Jean-Marie Déguignet, un paysan qui fermier à Toulven de 1868 à 1883, écrit dans ses mémoires « M.Malberhe de la Boissière, propriétaire de Toulven, dont le château est à deux pas de là, et dont on voyait les tourelles etc. ». Cela indique que lorsque Jean-Marie Déguignet arrive à Toulven, le château est déjà construit. Albert Ferdinand de la Malherbe de la Bouëxière hérite du château. A la mort de la femme de ce dernier le 11 octobre 1925, c’est le neveu d’Albert Ferdinand de Malherbe de la Bouëxière, Albert de la Hubaudière qui hérite des droits sur le château. Albert de la Hubaudière propriétaire aisé, possède une résidence à Paris où il fréquente les milieux artistiques. Il reçoit un bon nombre de ses amis parisiens dans son château, notamment Edith Piaf ou Maurice Chevalier. Ruiné à la fin de sa vie, il est dans l’obligation de vendre certains de ses biens mobiliers et immobiliers. Alors que le manoir est en ruines, le château est laissé à l’abandon dans les dernières années de vie d’Albert de la Hubaudière. Il fait à sa mort donation du château à Nelly Goujon de Grondel veuve d’Yves-Thibault de Pompéry avec qui il entretenait de bonnes relations. Le 4 mai 2000, sa fille hérite du château et des terrains. (Jeanne Guéguen, 2015)