As Torres do Allo foron progresivamente abandonadas a partir dos anos 30 do século XX. Os seus propietarios, os López-Riobóo pasaban cada vez menos tempo neste pazo e deixaron como caseiro a Manuel Graíño e os seus descendentes. En 1950 a familia Graíño deixa o Allo e aquí comeza o deterioro do edificio. Situación que se agrava durante os anos 80 cando numerosos roubos aceleran o seu estado de ruína. Afortunadamente, no 1981, o arquitecto José Luís Álvarez Arias realizou un traballo final de carreira sobre as Torres do Allo, con debuxos e gravados que resultaron de inestimable importancia para o proxecto de rehabilitación do pazo. Xa nos primeiros noventa a caída de tellados fixo que o interior do edificio resultara seriamente danado. A isto hai que sumarlle o espolio do balcón da torre sur que foi recuperado anos máis tarde pola familia, e dalgunhas pezas máis aínda sen localizar.
Dado o penoso estado de conservación desta construción de tan importante valor histórico, etnográfico e artístico; a Deputación Provincial de A Coruña decide mercar as Torres do Allo no 1998 para iniciar a súa rehabilitación e poñelas a disposición da cidadanía para uso cultural, turístico, didáctico e social. Asi mesmo inician os trámites para declarar as Torres do Allo no 1999 monumento e Ben de Interese Cultural, o que obriga non só á conservación do pazo, senón tamén do seu entorno. O proxecto de rehabilitación de Iago Seara recupera todo o interior do pazo, completamente destruído; a fachada e torres que sufriran importantes danos; así como os hórreos e distintas construcións anexas. Grazas a estes traballos e a unha boa xestión das institucións podemos desfrutar hoxe dunha das xoias arquitectónicas da Galicia medieval.