Les premières pierres de la chapelle Notre-Dame de Bon-Voyage furent posées en 1698 à l’initiative de Jean-Baptiste de Treanna, sieur de Lanvilio, demeurant au manoir de Kerazan en Cléden-Cap-Sizun. Il s’agissait alors d’une toute petite chapelle destinée à devenir une sacristie.

Dans son journal, il décrit lui-même les circonstances qui l’ont amené à faire construire l’édifice : « Un gentilhomme de la basse Cornouailles, se voyant en péril de mourir, étant tombé dans l’étang d’un moulin, se voua à la Sainte Vierge et lui promis par serment qu’il ferait bâtir une chapelle en son honneur, si elle voulait bien le délivrer du danger où il était de périr. Dans ce temps-là, le gentilhomme ne fit pas réflexion sous quel titre édifier ladite chapelle ; mais quelques mois après le danger, se souvenant toujours de son vœu, il fut inspiré de la faire bâtir sous le titre de Notre-Dame de Bon-Voyage et de Bon-Port. »

Les travaux de l’édifice actuel se déroulèrent entre 1702 et 1703 sous la direction de M. Favennec, maître maçon et architecte à Pleyben. Les ouvriers, tous du Cap-Sizun, travaillèrent bénévolement. Ainsi, charpentiers et maçons donnèrent « quelques jours à la bonne Vierge ».

Le mur d’enceinte fut construit quelques années plus tard par le même Mr de Treanna pour remercier la Sainte-Vierge de lui avoir fait gagner un procès.

Plusieurs restaurations furent réalisées par la suite mais aucune date n’est portée sur le bâtiment. On sait cependant que le clocher a été restauré par Clet Marzin, maître maçon de Landrer, en 1852 avec les pierres de la chapelle Saint-Molien de Penneac’h détruite la même année. On sait aussi qu’une autre restauration a eu lieu en 1893 et couta 2000 francs.

La dernière restauration en date se déroula entre 1986 et 1991 à l’initiative des habitants de Plogoff qui créèrent l’association des « amis de la chapelle Notre-Dame du Bon-Voyage ». Les bénévoles se sont attelés à la réfection des lambris de la voute ainsi que ses motifs peints, recomposant le texte en breton du cantique de la chapelle qui ceinture la partie haute de la nef.

D’après H. PERENNES, « La dévotion de la Sainte Vierge, sous le vocable de Notre-Dame de Bon-Voyage, devint promptement populaire dans tout le pays. Le pardon se célèbre le second dimanche de juillet. En 1856, M. Glévarec, recteur de Plogoff, y signale un nombreux concours du peuple : ce sont surtout, dit-il, les marins du pays qui s’y rendent en nombre assez considérable. »