Antes de existir las Torres do Allo, el primer pazo gallego; existió muy cerca de allí un gran castillo situado en el alto de una colina. Hoy no se conserva de él nada más que piedras que están siendo estudiadas por los arqueólogos/as para determinar la posición y antigüedad exacta. No obstante, ya el nombre del monte, llamado ‘castelo grande’ nos da una pista de que fue allí precisamente en donde se encontraba esta fortificación de la Casa de los Altamira.

Los condes, Lope Sánchez de Ulloa y Moscoso y Aldonza de Mendoza, hermana del arzobispo de Santiago de Compostela; fundaron en 1455 el Condado de Altamira. Una de las familias más poderosas de la nobleza gallega, propietarios de varias fortalezas, casas y castillos, así como de tierras y feudos ya desde el siglo IX. Pero en 1467 verían amenazado su patrimonio con las Revueltas Irmandiñas, la mayor revolución social europea del siglo XV. Los continuos abusos de las grandes casas nobiliarias terminaron por producir el levantamiento del campesinado que luchó contra los terratenientes derrumbando sus torres y castillos. Entre las 130 fortalezas que se cree que fueron destruidas polos irmandiños/as, estaban las Torres de Altamira y el Castillo del Allo.

A pesar de que los Irmandiños fueron derrotados en 1469, y muchas fortificaciones fueron mandadas reconstruir incluso utilizando la mano de obra de los sublevados/as; el Castillo del Allo no duraría en pié mucho más. Los Reyes Católicos, que veían amenazada su autoridad por las grandes casas de la nobleza gallega, ordenaron destruir todas las fortalezas. Los documentos dicen que el Castillo del Allo fue ordenado derruir sobre el 1487. Pero los Altamira ejecutaron una jugada estratégica impecable para seguir manteniendo su influencia bajo la nueva corona.

Los Condes de Altamira no sólo aceptaron la destrucción del Castillo del Allo, si no que trasladaron su residencia a Madrid para estar más próximos a la Corte Real. Pero en las tierras que hoy pertenecen al Ayuntamiento de Zas, dejarían a una de sus hijas como Dueña del Allo para continuar gobernando la comarca. Berenguela Sánchez de Moscoso se casó con el que sería el primero de los Riobóo: Gómes de Riobóo Vilardefrancos; importante vasallo de la Casa de Altamira, seguramente administrador del castillo en ausencia de sus dueños. Para ella mandaron construir más abajo, en la planicie, la llamada ‘casa del Allo’ (referente a ‘ayo’, servidor de las casas nobles) y, posteriormente comenzaría la construcción de las que hoy llamamos Torres do Allo, la que sería durante quince generaciones la Casa de los Riobóo.»