Las Torres do Allo han sido progresivamente abandonadas a partir de los años 30 del siglo XX. Sus propietarios, los López-Riobóo pasaban cada vez menos tiempo en este pazo y dejaron como casero a Manuel Graíño y sus descendientes. En 1950, la familia Graíño deja el Allo y aquí comienza el deterioro del edificio. Situación que se agrava durante los años 80 cuando numerosos robos aceleran su estado de ruina. Afortunadamente, en 1981, el arquitecto JosJosé Luís Álvarez Arias realizó un trabajo final de carrera sobre las Torres do Allo, con dibujos y grabados que resultaron de inestimable importancia para el proyecto de rehabilitación del pazo. Ya en los primeros noventa la caída de tejados hizo que el interior del edificio resultara seriamente dañado. A esto hay que sumarle el expolio del balcón de la torre sur que fue recuperado años más tarde por la familia, y de algunas piezas más todavía sin localizar.
Dado el penoso estado de conservación de esta construcción de tan importante valor histórico, etnográfico y artístico; la Deputación Provincial de A Coruña decide comprar las Torres do Allo en 1998 para iniciar su rehabilitación y ponerlas a disposición de la ciudadanía para uso cultural, turístico, didáctico y social. También inician los trámites para declarar las Torres do Allo en 1999 monumento y Bien de Interés Cultural, lo que obliga no sólo a la conservación del pazo, si no también de su entorno. El proyecto de rehabilitación de Iago Seara recupera todo el interior del pazo, completamente destruido; la fachada y torres que habían sufrido importantes daños; así como los hórreos y distintas construcciones anexas. Gracias a estos trabajos y a una buena gestión de las instituciones podemos disfrutar hoy de una de las joyas arquitectónicas de la Galicia medieval.