As Torres do Allo gardan moitas historias no seu interior, pero tamén no seu exterior. O contorno do Pazo do Allo conserva varias construcións de centos de anos de antigüidade que servían para as distintas funcións dunha organización social harmónica e en estreita relación coa natureza como eran as casas señoriais da Galicia do século XVII. Dentro da visita exterior, e conformando un conxunto etnográfico marabilloso, encontrámonos con muíños, alpendres, fontes, hórreos, un espléndido pombal, e as chamadas casas do Curro.

Gómes de Riobóo e Seixas, ademais de erguer a Torre Sur do pazo, promoveu unha importante remodelación de todo o contorno e unha nova organización das terras que favorecería a súa explotación agrícola. A partir do 1669, construíronse no Allo numerosos anexos e muros deseñados para dar soporte ao novo pulo económico que protagonizou o señorío do pazo. Entre eles estaban as catorce casas dos colonos situadas nos antigos terreos de curral, “do Curro”. Estas serían as vivendas dos labradores das terras que viron incrementado o seu número coas novas influencias nobiliares da Casa dos Riobóo.