Ventana en pared no medianera

Tengo un jardín el cual linda por un lado con un vecino que tiene una ventana antigua en su pared que da a mi jardín. He pedido nota simple y no viene servidumbre ninguna. La ventana debe llevar más de 50 años pero esta en su pared que no es medianera. Mi pregunta es si construyo una pared, ¿le puedo tapar la ventana?