Servidumbre de paso,¿Se puede perder el derecho?

La servidumbre está entre dos fincas, y a la vez por esa servidumbre un tercer vecino accede a su finca. El primer vecino quiere quedarse con el paso, está asfaltado (por nosotros y el tercer vecino), dice que eso es suyo y ni siquiera ha hecho pared de piedra en ese lado (tiene valla metalica). Quiere que el tercer vecino haga un paso por otro lado y asi cerrar su finca y artimarse a mi pared, sin pagarlo. Nosotros tenemos la finca con pared de piedra por los 4 lados. No hay acceso (me refiero a puerta)por el lado del paso. Mi pregunta es, podemos perder el derecho al paso si no hay un acceso, ¿aun teniendo un acceso el tercer vecino? No entiendo bien lo de los 20 años de uso, ¿esa norma nos afecta? Faltan 3 años para hacer 20 años alli. ¿Deberiamos abrir una puerta en esa pared?