Mi vecino quiere quitarme el derecho de pasar por el camino de servidumbre de mi finca y la suya.

Hola; soy Jose, quería preguntarle algo porque tengo un problema con mi vecino de la finca.
El caso es que tanto mi finca como la de mi vecino anteriormente eran del mismo dueño "mi abuelo", de esta finca heredaron mis tíos y mi madre, mis tíos vendieron todo y mi madre no, que su parte es ahora mi finca. Bueno pues en la parte de mis tíos "ahora todo es finca del vecino" existía un camino de servidumbre para todos los herederos de mi abuelo, este camino el dueño le propuso a mi padre de quitarlo "porque pasaba por medio de toda su finca" y el abriría otro por su parcela lindando con la mía para que mi padre pudiera pasar a su finca, todo esto para beneficiarse mi vecino, así se le quedaba la finca cuadrada sin camino de por medio. Mi padre "por buena persona" accedió a la propuesta "sin papeles, solo de palabra" y el vecino hizo el camino "por su parcela" siempre con la condición que ese camino era para los dos. Bueno nunca han habido problemas hasta ahora, resulta que mi padre falleció hace casi cuatro años y el vecino hace algo mas de tiempo también falleció, bueno pues ahora los herederos del vecino "sus hermanos" me dicen que el camino es suyo. El otro día pusieron un poste metálico "no se con que intención" en la entrada de este camino pero en el lado de mi parcela "pero dentro del camino" y yo cuando lo he visto no me dio buena espina y lo arranque. Luego me llamo el vecino "hermano del fallecido" y me dijo que quien era yo para quitar eso que el camino era suyo y que me iva a denunciar. Este camino ya estará echo unos 16 o 17 años y por supuesto no quiero perder el acceso que creo que me pertenece.
Haber si UD. Me puede orientar acerca del tema y como debo actuar.
GRACIAS.

{"Lat":38.5653478448855,"Lng":-1.9720458984375}