¿Mi vecino dice que mi barda esta en su terreno y la quiere tumbar?

Tengo un vecino que dice que yo construí mi barda en su terreno pero la verdad es que ellos fincaron primero y después se finco mi casa, estamos hablando de los abuelos de mi actual vecino fueron los que construyeron y ahora mi vecino quiere recuperar lo que su abuelo dejo, pero en las medidas que tiene mi escritura esta todo bien, mi pregunta es ¿se puede tumbar una finca que lleva tantos años construida? O que debo hacer