Le site de la Chesnaye est occupé depuis longtemps. Un ancien manoir de la Chesnaye est cité dès le 16e siècle. Il a été érigé en châtellenie en 1572. En 1579, il possédait des tours, un colombier et des douves, avec un droit de haute justice à trois piliers. Propriété successive des familles Boylet (en 1513), Harpin seigneurs des Coudrais (en 1531), de Malenoë (au début du XVIIème siècle), Bidé et Gefflot (en 1655 et en 1789). Un château a été reconstruit à son emplacement au 19e siècle. Ce dernier fut détruit, la ferme de la Chesnaye est construite avec des pierres provenant de cet édifice.