Servidumbre de transito en mi terreno o en terreno de vecino?

Adquirí un terreno en zona rural sin que en la escritura se haga referencia a servidumbre en el terreno a favor de algún vecino. Sin embargo hace un par de años un terreno que colinda al oeste con el mío cambio de dueño y el nuevo dueño viene reclamando una servidumbre de transito que le permite acceso a un terreno de su propiedad que queda arriba. Pedí al dueño que me dejara ver los documentos donde había constancia de la servidumbre, me mostró la escritura y en ella dice " por el costado de HC (noroeste) y BC (suroeste) existe una servidumbre de tránsito de 2 metros de ancho a la cual tiene derecho el vendedor para llegar a un lote de su propiedad que se encuentra arriba, y medio metro (1/2 mt) de entrada para el pozo del agua, servidumbre que queda en beneficio del predio del comprador". Entendí en este texto que la servidumbre está en el terreno de los otros vecinos (HC y BC) y no del mío. Consultamos a vecinos de la zona y todos coinciden en que el terreno que compré nunca ha habido servidumbre de tránsito, que esta pasaba por el terreno de los otros vecinos. Las conversaciones sobre la servidumbre se suspendieron cuando me mostraron la escrituras, y el nuevo dueño asumió que todo quedaba aclarado (no quiso presentarse a una nueva citación para continuar con el tema) y ahora me amenaza con demandarme por daños y perjuicios derivados de la imposibilidad de usar la servidumbre. Esta en lo cierto? Qué debo hacer? Gracias.