Cet ensemble fortifié regroupant batterie de côte et corps de garde est datable du 18e siècle. Il défendait l'entrée de l'anse d'Argenton au fond de laquelle l'agglomération et le port d'Argenton se sont développés.

D'après l'Atlas des côtes de France 1818-1848 (tome 192 : direction de Brest) ; une batterie de côte désignée "Batterie de l'île d'Olves" ou "Batterie de Portz Argenton" est mentionnée sur l'actuelle "Presqu'île du Vivier". Elle s'intercalait entre les batteries du "Port d'Iock" (du nom de l'Île d'Yoc'h) et de "Porspoder" au sud (actuelle Pointe de Garchine). D'après l'état de 1820 et le plan de détail de Gustave Paulin, officier du Génie militaire, la batterie de l'île d'Olves est dotée d'un corps de garde et d'un magasin à poudre. Alors qu’ils sont non imposables car appartenant au Génie militaire, le cadastre parcellaire de 1844 figure le corps de garde et la batterie de côte (parcelles n° 1205 et 1206).

Le 7 novembre 1844, le Comité des fortifications s'appuyant sur le travail de la commission des côtes de 1841 (Atlas de défense des côtes, tome III, 2e arrondissement de Brest) recommande l'armement de la batterie à savoir deux canons de 30 livres et deux obusiers de 22 cm en fer. La batterie de l'Île d'Olves est mentionnée dans l'Atlas de 1858 de mise en état de défense des côtes de l'Empire Français (n° 230). Classée en 3e degré d'importance, elle dispose toujours du même armement. Par la suite, la batterie cesse d'apparaître dans les états de défense des côtes.

Lors de la Seconde Guerre mondiale, la Presqu’Île du Vivier est intégrée au Mur de l’Atlantique. Plusieurs bunkers y sont construits : une casemate pour un canon antichar Skoda de 4,7 cm (Feldmäßige Ausbau, construction de campagne inspiré d’un bunker de type 631), trois postes d’observation et de tir dit Tobruk-Stand dont un pour mortier et un observatoire bétonné dans les rochers. Ce "nid de défense" (Widerstandsnest), numéroté 17 appartenait au groupe défensif côtier de Saint-Renan (Küsten-Verteidigungs-Gruppe, abrégé "KVGr"). Cette position d’infanterie avait pour objectif la défense du Port d’Argenton contre un débarquement.