Que hacer si no se tiene conocimiento de una servidumbre?

Compre un lote con una casita y en mi escritura no dice que es servidumbre de ningún vecino, y la persona que me vendió tampoco me dijo nada, como al mes de haber comprado se acercó un señor diciendo que es dueño de un lote que está más abajo de lo que yo compré y alega que el paso de el es por mi lote y por el patio de mi casa que puedo hacer ya que el asegura que en la escritura de el dice que esa es la servidumbre de el.