Graves deficiencias muro separación de parcelas en jardín

Tenemos un muro que separa el patio de mi jardín con el del vecino con graves deficiencias estructurales y riesgo de caída. El muro fue construído por mi vecino y el anterior propietario de mi casa y se ha rajado. No quiere cambiarlo porque el riesgo de caída es hacía mi casa y no ve necesidad. Hemos preguntado al ayuntamiento de Aranjuez y dicen que nos dan licencia para tirarlo pero que no ellos no se meten en las responsabilidades de quién es el muro en cuanto a la propiedad. Nuestra duda es, ¿en base al riesgo podemos derribarlo asumiendo el coste? ¿O nos pueden parar las obras si llama el vecino? ¿O incluso tener responsabilidades civiles si nos denuncia por tirarlo sin su permiso? No sabemos cómo proceder y no podemos hacer uso del jardín por miedo a que se caiga encima de los niños.