Servidumbre de paso

Tengo una finca que tiene un camino de entrada hasta la casa y en el catastro acaba en la casa, con certificado de paso privado por el ayuntamiento. Hay un vecino que pasa por él según dice el antiguo propietario le dio permiso para hacer el camino continuando el que estaba hecho hasta atravesar la finca, hable con el para que dejara de pasar (el camino pasa a tres metros de la puerta) ya que le arreglaría un camino alternativo que sólo le hace perder dos o tres minutos y que discurre alrededor de mi finca. Estuvo de acuerdo y puse una puerta en la entrada del camino por seguridad pues se dio el caso que han entrado, por despiste, motos de montaña y algún quark con el problema de seguridad que significa, teniendo en cuenta que pueden tomar el camino alternativo. Y en la parte final que él abrió en su momento puse tierra y piedras para volver a dejarlo más o menos como estaba antes (hace 20 años). Todo ésto se lo dije antes de hacer las obras y cuando lo vio hecho me dijo que el no me había dado permiso, le contesté que si no estaba de acuerdo que me denunciara, pues yo creo que a él no le cuesta nada pasar por el camino alternativo, teniendo en cuenta que tiene además dos accesos a su finca. Ahora me amenaza con tirar con el tractor el muro que yo puse sino le pongo grava en el camino que le arreglé, le he dicho que de acuerdo siempre que me firme un documento en el cual renuncia a la utilización de dicho camino, el se niega a fimarlo pero me da su palabra de que no me volverá a incordiar, yo no me lo creo. Perdón por la extensión. Si me tira el muro, lo denuncio seguro. Además vivimos en medio del campo un poco apartados y todo esto nos da muy mal estar. Reciba un saludo