D'après Paul Banéat, ce manoir possédait autrefois une tourelle avec un colombier, toutefois, il a été en partie démoli en 1806 et, au début du 20e siècle, une fenêtre à coussièges et une cheminée semblaient en constituer les seuls vestiges. La chapelle du lieu avait été reconstruite en 1673, pourtant, elle était déjà ruinée en 1781. Ce manoir a connu de nombreux propriétaires différents au cours des siècles : Regnaud Robin en 1453, les le Bigot (fin 15e et début 16e siècle), les Boutin (17e siècle), les de Sesmaisons (début du 18e siècle). Il existe, aux archives départementales, une description de ce manoir en 1732. A cette époque, il était composé de deux salles, d'une cuisine, d'un office, de chambres avec cabinets au-dessus et d'une tourelle d'escalier. Il existait également à cette époque un colombier, une écurie ainsi qu'un four. La construction du bâtiment actuel semble remonter au 17e siècle. La partie ouest abritait un logis composé d'une pièce à feu au rez-de-chaussée et d'une autre à l'étage. La tradition orale nous a rapporté qu'à l'étage, il existait des latrines et des garde-robes. La tradition orale nous a également rapporté que cette partie était réservée aux propriétaires des lieux lorsqu'ils venaient sur leurs terres. Les propriétaires des lieux étaient les De Coniac entre 1796 et les années 1990 ; cette famille était originaire de la région d'Angers. En 1830, le métayer du Noyer, Pierre Valentin, devient maire de la commune d'Orgères. A la fin du 19e siècle, Mathurin Marchand, puis Isidore Louail furent métayers du lieu. Le porche situé en façade sud rappelle le type des logis-portes, type de manoir fréquent entre la fin du 14e et le début du 17e siècle en Bretagne.