Antes de existir as Torres do Allo, o primeiro pazo galego; os investigadores sosteñen a hiótese de que moi preto de alí puido existir un castelo ou torre de vixiancia situado no alto dun outeiro. Hoxe apenas se observan indicios da súa existencia, pero o nome do monte, ‘castelo grande’ ofécenos unha pista de que puido ser alí precisamente onde se atopaba esta fortificación pertencente á Casa dos Altamira.
En 1467 verían ameazado o seu patrimonio coas Revoltas Irmandiñas, un dos conflitos sociais máis importantes da Europa do século XV. Os continuos abusos das grandes casas nobiliarias remataron por ocasionar o levantamento do campesiñado, burguesía e pequena nobreza que loitou contra os terratenentes derrubando as súas torres e castelos. Entre as 130 fortalezas que se cre que foron destruídas polos irmandiños/as, estaban as Torres de Altamira (Brión), o castelo de Vimianzo e probablemente e o Castelo do Allo, todos eles propiedade da casa Altamira.
A vitoria dos Irmandiños non duraría moito pois en 1469 a nobreza que tivera que fuxir a Castela e Portugal recupera as súas vellas fortificacións. Moitas delas van ser reparadas ou reconstruídas mesmo coa man de obra dos sublevados/as, pero 1480 unha provisión dos Reis Católicos, orientada a limitar o poder da nobreza galega, ordena “desmochar” as fortalezas reparadas despois da revolta. O vello Castelo do Allo puido verse afectado tamén por esta disposición. O certo é que non chegaron ata nós evidencias construtivas da súa existencia.
Por estas mesmas datas unha moza da casa Altamira, Berenguela de Moscoso, casada con Gómes de Riobóo Vilardefrancos, vasalo dos Moscoso, vai herdar as terras do Allo onde xa había unha edificación nomeada nos documentos como “casa forte”. Este edificio seguía xa unha lóxica diferente a dos castelos pois localizábase nunha zona de fondo de val, chaira e rodeada de vizosas terras de labor. Será o fillo de Berenguela, Alonso Gómez de Riobóo Vilardefrancos, quen comezará a construción das que hoxe chamamos Torres do Allo, a que sería durante quince xeracións a Casa dos Riobóo.