Le château tiendrait son nom des premiers occupants connus des lieux qui baptisèrent l'endroit du nom de Ville Ugues, devenu par la suite Ville-Huë. Si des archives familiales indiquent que le seigneur Olivier Ugues en est propriétaire en 1380, des travaux récents permettraient cependant de faire remonter une partie des fondations du château du 13 siècle (?).

Des reconstructions successives intégrant les maçonneries anciennes ont modifié et agrandi le château (tours d'angle, communs) comme le montre le cadastre de 1847 et notamment après l'incendie du 14 septembre 1947 : les 2 flèches composant la toiture initiale du pavillon arrière sont alors remplacées par un toit à longs pans.

En 1907, on installe l'électricité et l'eau courante au château et dans les jardins (cf. production électrique par énergie hydraulique ; dispositif toujours visible aujourd'hui mais hors-service).

Le parc ordonnancé et planté au 19e siècle à la manière de Lenôtre (?) dans un style à la française avec vue sur les 4 points cardinaux présente également des aspects paysagers "romantiques".

La chapelle a probablement été reconstruite au 17e siècle, avec le remploi d'éléments architecturaux plus anciens du 15e siècle comme la fenêtre est et la piscine à tablette plus communément appelée lavabo à crédence, formant dans une niche un ensemble vasque et étagère. Aujourd'hui encore l'édifice est à l'état de ruines, comme l'enquête d'inventaire topographique réalisée en 1979 sur le canton de Guer l'indiquait déjà, et si elle relève toujours de l'ancienne seigneurie, elle dépend désormais de la propriété de la Basse Ville Huë.

Ancien logis pouvant remonter à la fin du Moyen-Age et repris à différentes époques, rhabillé et augmenté de tours d'angle dans la 2e moitié du 19e siècle. En 1907, installation de l'électricité et de l'eau courante au château et dans les jardins (cf. production électrique par énergie hydraulique). Parc paysager planté au 19e siècle.