Le sémaphore a été construit entre 1860 et 1866. Les deux cartes du Service historique de la marine de Vincennes permettent de situer sa construction entre ces deux dates. Le sémaphore aura donc été en fonction pendant un siècle. Un rapport du 1er juillet 1866, mentionne que le sémaphore de Penfret est en bon état, sauf le mât des signaux dont le socle est en partie démoli. D'après un témoignage de Jean Cloarec, fils d'Henri Cloarec, chef guetteur au sémaphore de Penfret le mât sémaphorique gisait par terre et un canon de 70 était fixé devant le sémaphore. Jean Cloarec a vécu avec ses parents au sémaphore de Penfret de 1916 a 1920. Son père, Henri s'occupait de la surveillance des côtes et envoyait les messages télégraphiques avec bande à papier. Il se souvient aussi d'une lampe Scott.
En novembre 1921, une note pour Monsieur le Directeur des travaux hydrauliques, au sujet du ravitaillement du sémaphore, stipule que le ravitailleur Ar Gazek, appartenant aux Ponts-et-Chaussés, effectue un voyage par semaine, le samedi, pour les gardiens de phare et qu'il approvisionne et transporte également les guetteurs et leurs familles. La Marine accorde une subvention à l'administration des Ponts-et-chaussées pour le transport.
En 1949, les membres du Centre de formation internationale, futur centre nautique des Glénans, sont invités à quitter l’île du Loch sur laquelle ils campaient et s’initiaient à la navigation depuis 1947.
Philippe Viannay s’intéresse alors à l’île de Penfret : à l’exception des terrains de la Marine (site du Sémaphore) et des Ponts et Chaussées (site du phare et de la maison des gardiens de phare), la plus grande partie de l’île appartient à Messieurs Perrussel et Cossec. Ces derniers renoncent au projet de développement d’une station climatique sur l’archipel. Ils acceptent l’installation des membres du CFI sur l’île.
En 1950, Philippe Viannay se porte acquéreur de Penfret, et confirme sa volonté en achetant « une petite maison en parpaings avec un peu de terrain autour » à Monsieur Le Floch.
En 1951 le Club de formation internationale achète, pour les jeunes, la parcelle 12 dite « du canot de sauvetage ».
En 1952, grâce à la subvention accordée par la Direction des Sports (Ministère de l’éducation nationale), de 1 800 000 anciens francs, le CFI achète les parcelles section R du cadastre : 5, 6, 7, 8, 9, 10, 11, 12.
La superficie est de 34 ha selon les titres et de 42 ha selon la matrice cadastrale. Les phares, Fort (6,7), Sémaphore (13) et Maison des gardiens de phare (9, 10) ne sont pas compris dans cette vente.
En 1963 le sémaphore est désarmé par la Marine nationale. Il est loué à l'école de voile des Glénans, à titre précaire et révocable, par un bail de 18 ans renouvelé en 1972.
Avant 1963 les guetteurs-sémaphoriques sont chargés du standard téléphonique de l’école de voile et des gardiens de phare. Un ciré, caban, ou vêtement quelconque, accroché à l’extérieur, annonce l’arrivée d’un message, télégramme ou bulletin météo du Conquet. Les visiteurs sont impressionnés par le parquet ciré et les appareils de la chambre de veille.
Les guetteurs-sémaphoriques assurent également un rôle de surveillance de la flotte de l’école de voile lorsqu’un équipage échappe à la vigilance de la bordée de quart.
Après 1963 la tenue du standard téléphonique revient au Centre nautique des Glénans. Il est alors transféré du sémaphore au bâtiment des moniteurs, sur le site de Pen Marise.
Tout d’abord destiné à accueillir les hôtes de passage du centre nautique, le sémaphore sert d’hébergement à des stages d’une dizaine de personnes. Ces stages sont indépendants des autres centres de Penfret en ce qui concerne le quart et la cuisine. Exemple : En 1964, le sémaphore accueille des stagiaires propriétaires d’un Corsaire (partenariat CNG et Ascorsaire). Les participants apprécient « le point de vue extraordinaire » ; l’encadrement est facilité par « la formidable salle de classe qu’est le sémaphore avec toutes ses fenêtres qui permettent du matin au soir de dessiner au tableau noir, en pleine clarté ». Le sémaphore est ainsi identifié comme le lieu privilégié « d’un enseignement intensif destiné à perfectionner des éléments capables d’atteindre rapidement le niveau moniteur ».
En 1968, la grande salle d'observation est repeinte en blanc. En 1976, le gréement du mât du sémaphore est rénové. En 1982, les fenêtres de la cuisine et les toilettes du sémaphore sont installées.
En 2012, une autorisation d’occupation temporaire est accordée par le Conservatoire du Littoral, propriétaire du site, à l’école de voile des Glénans pour occuper la maison des gardiens de phares et le sémaphore, « compte tenu de l’intérêt pour le Conservatoire du Littoral de favoriser la gestion des espaces protégés, assurer un gardiennage des lieux et des bâtiments, maintenir un usage et une fonction aux bâtiments acquis ».
Aujourd’hui le sémaphore est décrit comme le site le plus « intime » de l’île, accueillant le moins de stagiaires (entre 30 et 40, 50 au maximum). La moitié des couchages sont en tente, la moitié en dortoir. Le site accueille toujours des stages singuliers, comme par exemple en juin, une classe de lycée alterne révision du Bac et navigation, encadrée par des professeurs de classe et des moniteurs de l’école de voile.
