Compra de vivienda con problema de amianto

Estoy muy disgustado y os agradecería enormemente que arrojaseis algo de luz a mi problema.

El caso es que hace un tiempo buscaba una casita para comprar en Galicia y encontré una mediante una inmobiliaria que vendían en un pueblo de unos 4.000 hab. El día de la visita fuí con un reformista para que me diese presupuesto de una reforma general (la casa esta habitable pero antigua). La casa es una casa adosada con 2 plantas de 40m2 mas buhardila y dos almacenes de unos 30 m2 anexos. El tomó medidas y le pregunte el estado general de la casa y me dijo que en principio la estructura parecía que estaba bien y que sería recomendable que cambiar la instalación eléctrica. La casa nos gustaba y aunque no nos sobraba mucho dinero para la reforma decidimos comprarla e ir arreglandola poco a poco. El caso es que dos o tres dias despues de la compra vinieron otros reformistas para darme presupuesto y uno de ellos me advirtió de que los tejados y una bajante eran de uralita y contenían amianto que es perjudicial para la salud. Y encima las dos casas adosadas a la mía tambien tienen tejados de uralita (puedo tocar su tejado desde mi jardin). Entonces contacté con una empresa de desamiantado para que me confirmase si contenía amianto y me dijeron que sí además no esta aislado y hay zonas donde hay goteras. Os podeís imaginar el disgusto. He pensado en cambiar el tejado pero aunque lo cambiase los vecinos de al lado también lo tienen de uralita y no en muy buen estado así que corro perligro de todas formas aunque lo cambié. Entonces como ha pasado solo una semana desde la compra me preguntaba si podría anularla por vicios ocultos, o buscar alguna otra forma legal de poder anularla. No me parece justo que no se me informase del riesgo que suponía para mi y mi familia vivir en esa casa.