Kergo est le siège d'un manoir attesté en 1606 d'après un écu porté sur le manoir, appartenant au 18e siècle à la famille Guymar Dauzon. Sur les plans anciens comme aujourd'hui, le village est longé à l'est par un chemin reliant deux routes menant à Locmaria ; la seconde devenue départementale relie aujourd'hui Ploemel à La Trinité. Il est constitué d'une succession de trois grandes fermes disposées en parallèle du nord au sud, accompagnées de leur fournil. Au sud du village, le manoir figure avec son enclos à tourelles et son vivier nommé pièce d'eau au sud de l'enclos. Des trois fermes qui composent le village, une seule reconstruite à la fin du 19e siècle a été repérée, une autre subsiste sous forme de vestiges et la troisième immédiatement au nord du manoir a disparu ; il subsiste les vestiges très remanié d'une maison dépendant de cette ferme sur le cadastre de 1845. Un des fournils figurant sur les plans de 1811 et 1845 a été conservé, de même que le fournil d la ferme médiane, construit entre 1811 et 1845.