Na parte traseira das Torres do Allo atópase o gran xardín do pazo. De deseño barroco, era un dos lugares preferidos da familia Riobóo, sobre todo de Víctor López Seoane, afamado naturalista que foi dono do pazo entre 1870 e 1900. O xardín do Allo debeu ser un espazo central na vida de Seoane, fundamental para os seus estudos de ornitoloxía e botánica. Probablemente aquí comezou a escrita dun dos seus proxectos máis ambiciosos: editar a primeira Historia Natural de Galicia. Pode coñecer máis detalles sobre esta etapa das Torres do Allo na sección ‘Cartas a Darwin’.

Deste xardín de recreo que data do século XVIII consérvase hoxe un gran abeto de Vancouver de máis de 20 metros de alto. Un magnífico exemplar da conífera de orixe norteamericana tamén chamada ‘abeto xigante’. Esta árbore señorial é visible dende varios centos de metros na contorna, probablemente un efecto buscado para resaltar aínda máis se cabe a posición social dos moradores do pazo. A parcela non pequena do xardín do Allo complétase con moitas outras plantas e un número significativo de maceiras que conforman un lugar moi agradable polo que pasear.