¿Puede apropiarse mi vecino de un trozo de mi terreno?

En 1995 con licencia de obras realice el cerramiento de una parcela de mi propiedad, deje un pasillo y una puerta para poder acceder a un camino que linda con mi terreno, en 1997 sin pedirme permiso mi vecino solicito licencia de obras al ayuntamiento e hizo unas escaleras (esta en subida), abrió puerta en su muro, me tabico mi puerta y en el linde del camino puso otra puerta, con lo cual a mi me cerro y el se abrió paso privativo, por lo que he leído por internet al haber pasado mas de 20 años la servidumbre ya no se la puedo negar pero el vecino no contento con eso me dice que es de su propiedad y que quien no puede pasar soy yo, en el catastro aparecen perfectamente las lindes, de hecho según nota simple de su escritura su patio linda con mi terreno y mi terreno es el que linda con el camino.