La Ville Caro est citée dans le texte de la réformation (recensement des nobles de la commune) de 1427 : "l'hébergement de la Ville Caro entien appartenant à Jehan Mancel noble". Lors de la montre (convocation de l'arrière- ban de la noblesse à la revue militaire) de 1464, Jehan Mancel qui dispose alors de 70 livres de revenus est porté défaillant. À celle de 1477, Amaury Mancel dispose de 60 livres de rente, de même qu’en 1481, Jehan Mancel qui, lui, est alors représenté par Guillaume Mancel. Dans le texte de la réformation de 1514, on trouve : "la maison et métairie de la Villecaro qu'à présent possède Vincent Mancel, seigneur dudit lieu." Le texte de la réformation de 1666 mentionne : "La maison noble de la Ville Caro, fieff rosles, dismes et moullins, la méthairie de la Porte et autre méthairie noble nommé la méthairie de la Brousse".

Le manoir a été construit au 16e ou au 17e siècle.

En 1624, à la mort du dernier seigneur de la Ville Caro, Nicolas Mancel, le manoir passe dans les mains de Pierre de Sérent qui avait épousé Gilette ou Gilonne de Mancel. Il devient la propriété de la famille Bruban en 1651, puis de la famille Guillart en 1750.