Le château du Bois Joly est construit sur le site d'un manoir éponyme. Ce dernier était à Guillaume de Baud en 1420. De 1598 à 1790, il est aux Carmes (qui l'ont obtenu sous forme de legs). Vendu nationalement à la Révolution, il est acquis en 1790 par la famille Le Beau de Trésidy dont le descendant, François, le lègue à sa fille naturelle, Mademoiselle Françoise Bonnamy. Celle-ci abandonne l'ancien manoir qui portera désormais le nom de "Vieux Bois Joly", pour faire construire un château neuf. Sa construction est entreprise en 1852, selon les plans de l'architecte, agent voyer d'Hennebont, Hallouis. Des modifications sont intervenues par rapport au plan d'origine, au niveau des toitures : le belvédère avec horloge au centre du toit a disparu ou n'a pas été réalisé, sur l'élévation antérieure, les lucarnes latérales sont devenues cheminées avec niche. La grille du parc en fer forgé est dessinée par Hallouis le 8 octobre 1853. Le mausolée, érigé en 1873 au cimetière de Carnel à Lorient, est ensuite transféré .