Antes de existir as Torres do Allo, o primeiro pazo galego; existiu moi preto de alí un gran castelo situado no alto do outeiro. Hoxe non se conserva del máis que pedras que están a ser estudadas polos arqueólogos/as para determinar a posición e antigüidade exacta. Non obstante, xa o nome do monte, chamado ‘castelo grande’ danos unha pista de que foi alí precisamente onde se atopaba esta fortificación da Casa dos Altamira.

Os condes, Lope Sánchez de Ulloa e Moscoso e Aldonza de Mendoza, irmá do arcebispo de Santiago de Compostela; fundaron no 1455 o Condado de Altamira. Unha das familias máis poderosas da nobreza galega, propietarios de varias fortalezas, casas e castelos, así coma terras e feudos xa dende o século IX. Pero en 1467 verían ameazado o seu patrimonio coas Revoltas Irmandiñas, a maior revolución social europea do século XV. Os continuos abusos das grandes casas nobiliarias remataron por ocasionar o levantamento do campesiñado que loitou contra os terratenentes derrubando as súas torres e castelos. Entre as 130 fortalezas que se cre que foron destruídas polos irmandiños/as, estaban as Torres de Altamira e o Castelo do Allo.

Aínda que os Irmandiños foron derrotados en 1469, e moitas fortificacións foron mandadas reconstruír mesmo coa man de obra dos sublevados/as; o Castelo do Allo non duraría en pé moito máis. Os Reis Católicos, que vían ameazada a súa autoridade polas grandes casas da nobreza galega, ordenaron destruír tódalas fortalezas. Os documentos din que o Castelo do Allo foi mandado derrubar sobre o 1487. Pero os Altamira executaron unha xogada estratéxica impecable para seguir mantendo a súa influencia baixo a nova coroa.

Os Condes de Altamira non só aceptaron o destrución do Castelo do Allo, senón que trasladaron a súa residencia a Madrid para estar máis preto da corte real. Pero nas terras que hoxe pertencen ao Concello de Zas, deixarían a unha das súas fillas como Dona do Allo para continuar gobernando a comarca. Berenguela Sánchez de Moscoso casou co que sería o primeiro dos Riobóo: Gómes de Riobóo Vilardefrancos; importante vasalo da Casa de Altamira, seguramente administrador do castelo na ausencia de seus donos. Para ela mandouse construír máis abaixo, na planicie, a chamada ‘casa do Allo’ (referente a ‘ayo’, servidor das casas nobres) e, posteriormente comezaría a construción das que hoxe chamamos Torres do Allo, a que sería durante quince xeracións a Casa dos Riobóo.”