Mi vecino me obliga a levantar un antiguo muro

Ante todo perdón por no explicarme correctamente pues no entiendo mucho del tema y en estos momentos me encuentro desesperada.
Hace dos años compramos una vieja casa que estaba a punto de derrumbarse. La casa no tiene patio pero la parte de atrás colinda con el gallinero del vecino. En el muro de la parte de atrás existían dos ventanas, una en la primera planta y otra en la segunda.
No nos gustaba esa distribución, por lo que decidimos retirarmos 1.5m hacia dentro para poder dejar un pequeño patio de luces y pode poner una barbacoa en la planta de abajo y en la primera planta y la segunda abrimos unas ventanas más grandes. De esta forma queda la nueva casa por un lado 1.5m de patio de luces y el antiguo muro a punto de derrumbarse (el que colinda con la parte de atrás del patio del vecino). Hablamos con el vecino y nos da permiso para derrumbarlo i así que entre más luz en mi casa quedando entonces la pared medianera el patio de luces y la casa.
Un constructor me comento que aunque es una pared medianera pertenece a mi casa i el vecino tendría que pagarme si quiere hacer uso de ella.
Bueno, el problema viene cuando de repente el vecino quiere que ahora volvamos a levantar ese muro pues según el le amenazamos su intimidad. ¿Es correcto que nos haga hacer esto? ¿Hasta qué punto me tiene que exigir que levante una pared en mi medianera cuando el tiene construido encima de mi medianera? ¿Le rompo yo su intimidad i el puede construir al lado de mi medianera? Es que no lo entiendo y no se donde acudir. ¿Se tendría que apartar el también unos metros para hacer su dichoso gallinero?