Au début du 20e siècle, l'abri du Castel ne dispose d'aucun équipement portuaire. Une vieille cale, formée de blocs de rochers à peine équarris et grossièrement juxtaposés, sert pour l'accostage des bateaux de pêche de petit tonnage. Cette cale est située en aval du port du Castel.
En 1908, un avant-projet de cale et de quai est présenté à la commune par les Ponts-et-Chaussées. Ce débarcadère doit être utile aux marins pêcheurs et aux pilotes qui fréquentent régulièrement ce havre. Le projet est refusé par la commune en raison d'un financement de l’État évalué insuffisant. Un nouveau plan est soumis en 1913 avant d'être finalement exécuté en 1923.
En 1913, le port est fréquenté par 25 bateaux, gabarres et goémoniers et pêcheurs côtiers. Il accueille le pilote de Tréguier. En 1922 le port accueille 42 bateaux de travail pour une jauge totale de 630 tonneaux. En 1929, Plougrescant accueille 49 bateaux de pêche dans ce petit port, représentant un tonnage de 630 tonneaux.
L'ouvrage actuel est de construction récente (fin du 20e siècle) et correspond aux besoins de la plaisance et de la petite pêche côtière.
Au milieu du 20e siècle, Yves Music faisait office de passeur au Castel pour débarquer à l'Île Loaven.
