Cultivo en finca rustica cerca de vivienda

Buenos días tengo una finca rustica con vivienda en escritura de más de 50 años de antigüedad, en la escritura se refleja que somos propietarios también de los pastos y prados de alrededor sin especificar la superficie de estos, en la parte de atrás de la vivienda un vecino ha echo hoyos para plantar olivos a menos de 2 metros de distancia del muro de mi vivienda, según escritura el es el que linda por la parte de atrás, es decir su parcela de cultivo, en ella no tiene vivienda, tampoco hay vallas que delimiten nada.

¿Puede cultivar tan cerca de la vivienda?

Mi vivienda tiene ventanas a esas tierras si tengo que hacer obra y pasar maquinaria por ahí detrás ¿Qué hago con los olivos que quiere plantar?

Este vecino tiene su vivienda pegada a la mía en la parte izquierda mirando de frente, ha traído luz desde el camino por el que circulan los coches, ¿no nos tendría que haber pedido permiso de paso para ello?

Agradezco sus respuestas, saludos.

La finca esta en la provincia de Granada.