La construction d'un édifice spécifique pour accueillir les archives départementales est décidée en 1906, après la mise en évidence de l'accumulation des dossiers dans l'aile gauche de la nouvelle préfecture. Cette accumulation provoque sous le poids des archives l'effondrement d'une poutre de la salle à manger de la préfecture. Le projet de construction qui a du mal à se mettre en place, justifie d'abord en 1907 l'agrandissement des locaux des archives par la surélévation du bâtiment des remises et des écuries de la préfecture.

En 1909, l'architecte départemental, Amand Charier fait une proposition d'un bâtiment isolé de la préfecture sur l'emplacement du jardin potager et sur le cours de la Marle, afin de mettre en sécurité les archives départementales en cas d'incendie. Cette proposition est adoptée le 21 avril 1909 et l'emplacement de l'édifice sera fixé quelques temps plus tard, en bordure de la rue Alain Le Grand et le long de la rue de la Garenne, aujourd'hui rue Francis Decker. Amand Charier fournit les plans définitifs de l'édifice en février 1910 après la réalisation de plusieurs projets de façades et de distribution intérieure. Les travaux de terrassement sont attribués à Francis Huchet qui reprend également à partir de 1913 ceux concernant la fabrication du béton armé d'après le système Hennebique. Ce lot avait été au départ attribué aux entrepreneurs Thibault et Le Bomin qui en sont dessaisis en raison des malfaçons relevées par l'architecte.

Les travaux commencent le 20 mai 1911. Le déclenchement de la Première Guerre mondiale entrave la fin du chantier et les travaux ne reprennent qu'en 1919 sous l'égide du nouvel architecte départemental Jules Bardet. En 1919, les trois lanterneaux continus et la terrasse en ciment qui les borde sont supprimés par l'archiviste qui lui préfère la couverture d'aujourd'hui en zinc à faible pente. Les archives emménageront dans ce nouveau bâtiment en 1921.

En 1965, un nouveau bâtiment d'archives avenue Saint-Symphorien est réalisé. Devenu très vite trop exigu, la construction d'un nouveau bâtiment d'archives est projeté. Le concours est remporté en 1989 par les architectes Bernard Guillouët et Patrice Vallée. Le nouvel édifice ouvre ses portes au public le 1er décembre 1993.