Meterse la construcción en terreno ajeno

Compre un terreno urbano, edificable por supuesto para hacerme una vivienda. El día que tenía que marcar con el arquitecto las linderas llame de buena fe por supuesto al propietario que linda el terreno y marcamos y estuvo de acuerdo. Ya me he puesto a construir y ahora el propietario de la finca que linda me dice que me he metido un metro cuadrado en su finca que es rustica por cierto. Hemos llegado a un acuerdo verbal que yo me meteré el muro de la parcela un poco para devolverle los metros. Pero tengo una duda... Si el día de mañana sus heredero me pudieran denunciar que me pasaría.. Multa o me harían tirar la casa después de construida por un metro cuadrado . Es cierto que después de escriturada la casa ya no me podrían denunciar.