Muro de separación

Hola, buenas tardes. Vivimos en una casa pareada y el tema es que hace muchos años levantamos nosotros (a nuestro coste) un muro en una zona común, que por acuerdo de la comunidad lo podíamos hacer, ya que cada vecino cojíamos a partes iguales de esa zona en común. Pero el vecino que había en ese momento no quiso gastar dinero, con lo cual nosotros levantamos el dicho muro, cojíendo casi todo nuestro terreno excepto unos 5 cms de su parte.
Ahora después de los años, y habiendo cambiado de dueño el de la casa de al lado, le proponemos lo siguiente:
Como estamos cambiando todo el muro perimetral de la casa, ese muro también lo queremos cambiar, pero nos dice que es medianera y que ese muro no se tira.
Nosotros le estamos ofreciendo tirar el muro que nosotros construimos y colocarlo ya por completo en nuestro terreno y sin coste alguno para él. Que además se beneficiaria de un muro nuevo, pero no consiente.
¿Podemos tirarlo aunque invada unos 5 cms su parte de zona común pactada?
Muchísimas gracias