Fernando de Lago e Obaña foi o primeiro dono do Pazo de Barallobre. Unha das propietarias, Juana Márquez, pasaba os invernos na Coruña, exerceu de protectora e madriña de nenos do hospicio e poñíalles de apelido Barallobre. Entre os últimos propietarios, destacou polas súas dotes artísticas Antonio Jaspe Moscoso. Pintou o cadro de María Pita que preside a entrada do Pazo municipal da Coruña. Ten obra en museos da Coruña, Xixón e Pontevedra. 

O Pazo de Barallobre foi pasando de mans ata que os últimos propietarios renunciaron a herdalo debido ao seu estado ruinoso. Incorporouse así ao patrimonio público e a partires de 1979 comezou a construción do centro educativo, que conserva o escudo, aínda que nunha posición diferente á orixinal. Sábese que o edificio tiña balcóns, sala de armas, lareira e un recinto para gardar os cabalos. Os seus terreos ocupaban uns 50 ferrados, con magnolios, camelias, piñeiros, tilos e froiteiras, aínda que tamén se plantaron patacas. Grazas a unha iniciativa da ANPA, puidéronse recuperar algunhas das árbores dos xardíns do Pazo de Barallobre.