Muro entre vecinos, en mi parcela ¿Debo repellar por su lado?

Buenos días, 

Tenemos una valla metalica medianera entre mi arcela y la de mi vecino. Yo construí un muro por mi lado, sin tocar la vaya medianera, y el tenía setos vivos por su lado. Ahora mi vecino ha quitado los setos y me pide que repelle el muro por la parte que da hacia el, yo le he dicho que si quiere repellarlo que le doy permiso para que lo haga el, pero me dice que es mi obligación hacerlo y asumir los gastos, ¿es eso cierto?, estando el muro en mi propiedad debo repellar por su lado. Antes de que quitase los setos le propuse de hacer el muro en la medianera, pero se nego porque no quería quitar los setos, ahora que los ha quitado pretende disfrutar de mi muro que no es medianero y está en mi propiedad.

Gracias por vuestra atención.