Cerramiento de patio

Hola experto: He adquirido un adosado que en su patio trasero colinda a través de una valla medianera con tres viviendas. Yo quiero levantar un muro de separación a la altura legal, con dos vecinos he tenido acuerdo, pero otro se cierra en redondo a que levante el muro, incluso ni desde mi propiedad sin tocar la valla, puede legalmente hacer que me tiren el muro. Tengo permiso de obras y visto bueno de la junta de propietarios no porque todavía no está constituida. Pero este sujeto insiste en que me demandara y tendré que tirarlo. ¿Tiene base legal para poder derribar el muro?. Gracias.