Sous l´Empire, l´administration décide de se préoccuper du recouvrement de l´impôt sur le sel. La Bretagne étant exemptée de gabelle sous l´Ancien Régime, l´Etat doit entièrement organiser le service des douanes et construire des logements pour l´accueillir. A Séné, bourg gros producteur de sel, trois casernements principaux sont installés. La caserne des douaniers des Quatre-Vents, avec le bureau du receveur général, est la plus importante. Elle est terminée en 1809. La caserne héberge 39 personnes en 1841, dont huit femmes et enfants - Séné compte à cette époque 98 douaniers, pour 91 paludiers. La crise salicole qui s´installe au cours du siècle réduit cependant progressivement le nombre de douaniers. La caserne de Billorois, sur l´île de Mancel, est abandonnée, puis détruite en 1879. A la fin du 19e siècle, une vingtaine de personnes vit encore dans la caserne. Au cours de l´Entre-deux-guerres, la caserne est abandonnée : en 1931, selon le recensement, il n´y a plus de douanier aux Quatre-Vents. Elle est vendue en 1935 à un vicaire de la région parisienne, Henri Viot, qui la transforme en colonie de vacances catholique. Le bâtiment accueille des réfugiés pendant la guerre, puis retrouve son statut de colonie de vacances une fois le conflit achevé. Il devient une maison d´habitation dans les années 1980. Aujourd´hui, cette ancienne caserne est la seule existant encore à Séné.