Certaines parties de cette construction remontent vraisemblablement au début du 17e siècle. Il s'agit de la porte en plein cintre et de la maçonnerie de la partie basse des murs. Ce bâtiment primitif a été repris à la fin du 19e siècle probablement, époque où il a été surélevé pour pouvoir créer une étage carré. La tradition orale nous a rapporté qu'une partie de la famille Jolivet habitait dans ce bâtiment en attendant la fin de la construction du château. Cette maison présente en effet certaines caractéristiques des maisons bourgeoises : balcons en fer forgé à l'étage, jardin clos de murs au sud... Par ailleurs, d'après la tradition orale, une bibliothèque était aménagée à l'étage.