Servidumbre de paso.

He adquirido una finca, y resulta que el vecino de al lado accede a su finca por mi terreno. Este me dice que tiene servidumbre de paso desde hace muchos años. Previamente el vendedor me informo de este tema, que este vecino tiene otra portada y entrada a través de camino público, que no hay nada registrado sobre esta servidumbre (ni en escrituras ni en el Registro de la Propiedad), que tiene informes de que este camino a través de mi parcela no es vía pecuaria, ni del Ayuntamiento, ni de la Diputación. Que impuso denuncia una en el año 82 por amenazas sobre este tema y otra en el 96, que no llegaron a nada y que este Sr. Siempre lo ha tenido amenazado.
Por favor, me podrían aconsejar sobre este tema, y si son suficientes los argumentos para buscar abogado y demandar.