La maison de Toullouarn fut la propriété de M. Louis Pichon. La présence de nombreuses bibliothèques s’explique sans doute par la personnalité de ce polytechnicien et ingénieur des ponts et chaussées, qui, lorsqu’il s’engagea dans la politique – il fut sénateur du Finistère et maire de Tréflez - fut toujours très attentif à ce qui touchait à la mer.

À mi-pente d'une petite colline qui domine la mer à proximité de Ker Emma, dont son grand-père, Louis Rousseau, fut le fondateur, la vaste maison est largement ouverte par des fenêtres sur ses quatre côtés.