Le site du Plessis-aux-Bretons est au moins occupé depuis le début du 13e siècle. D'après Paul Banéat, cet ancien château était aux seigneurs de Plessis en 1209, aux du Houme en 1370, puis passa par succession vers 1530 aux Grimouville seigneurs de la Lande, puis par succession aux du Bouays, par alliance aux du Chasteigner seigneurs de la Thébaudaye qui l´avaient en 1607, par alliance en 1666 à Hélène du Guesclin femme de Charles de Matz seigneur de Brossay, qui le vendit en 1670 aux de Romilley. Il fut uni en 1678 au marquisat de Romilley. Paul Banéat affirme que le château était autrefois doté d´un pont-levis et d´une chapelle, ainsi que d'un petit plan d'eau, qui ont tous disparu. On ne connaît pas la date exacte de construction du manoir, mais il semblerait qu'il ne remonte pas au delà de la fin du 16e siècle pour ses parties extérieures. Il posséderait encore intérieurement des éléments plus anciens. La partie de la façade réalisée en moellon a sans doute été remontée au 19e siècle. Les ouvertures de tailles variées montrent des remaniements à diverses périodes. Une chapelle, aujourd'hui disparue, fut bâtie en l´honneur de Notre-Dame-de-Saint-Armel.