Suite au désarmement de la Tour Vauban, Camaret ne dispose plus de casernement pouvant accueillir de nouvelles garnisons. Afin de faire face à l'affluence des troupes en 1898 lors de l'affaire Fachoda, une caserne est construite en 1899 et inaugurée l'année suivante. Les nombreux soldats qui y séjournent jusqu'à la Première Guerre mondiale participent activement à la vie de Camaret et contribuent notamment au sauvetage de la chapelle Notre-Dame de Rocamadour, lors de l'incendie de 1911. Dans les années 50, la caserne appartient à l'ASA (Action Sociale des Armées), puis à l'IGESA (Institution de Gestion Sociale des Armées) et devient un centre de vacances pour enfants du personnel du ministère de la défense, entraînant quelques aménagement l'intérieur.