La construction de ce bâtiment remonte au milieu du 18e siècle, elle est attribuable à la famille Magon. Il possède un colombier carré qui a été restauré en 1959 ; d'autre part, sa chapelle datant de 1767 n'existe plus actuellement. Ce bâtiment a été complètement incendié au début des années 1920 ; il a par conséquent été restauré et remanié. A cette occasion, le bâtiment a perdu un étage, en effet, actuellement, ne subsistent qu'un rez-de-chaussée surélevé et un comble à la Mansart, alors qu'originellement, il existait un étage carré entre le rez-de-chaussée et les combles d'après la tradition orale. Du bâtiment ancien, subsistent la maçonnerie, le perron, le rez-de-chaussée, une cave voûtée et l'escalier intérieur. A la fin du 17e siècle, le domaine de Saint Elier aurait appartenu à René Moreau de Maupertuis, père de Pierre, l'illustre mathématicien. Sa fille l'apporta en dot à Julien Magon de la Villebague, Directeur de la Compagnie des Indes, gouverneur des Isles de France et de Bourbon, intendant général des Isles sous le vent et de Saint Domingue. Cette propriété resta entre les mains de la famille Magon de Saint Elier jusqu'en 1952, date à laquelle elle fut achetée par le comte de Langle. Le puits situé à l'entrée à gauche provient d'une ferme de Naizin dans le Morbihan. Un autre puits se trouve à l'angle de la cour nord du château ; il provient d'une ferme de Moustoir Radenac dans le Morbihan, probablement de l'ancien manoir de la Boullaye en Langle. Les dépendances datent également du 18e siècle. Il existait une chapelle à Saint-Elier, en effet, Nicolas Magon, sieur du Bos, y épousa Marie Moreau (soeur de l'académicien Moreau de Maupertuis) en 1731. La chapelle avait été reconstruite dans les années 1760 et bénie en 1767 par le recteur de Saint-Jouan. A la fin du 19e siècle, cette chapelle était déjà détruite. La reconstruction de cette chapelle correspond probablement à l'époque de construction de la malouinière.