Escritura anula a un contrato privado posterior

Me gustaría que me dijeran un caso que me ha ocurrido hace años,.. Intentare ser breve, resulta que nos compraron una finca a mi padre hace 10 años y el comprador nos pago la mitad del dinero, pues ese comprador pensaba hacer unos adosados, nosotros le dijimos que la finca no estaba registrada ni escriturada ante notario, pues era una herencia de mis abuelos y que con la hermana de mi padre hicimos unos lotes, como se hacia antes en los pueblos ante testigos pero no registradas, ni ante notario de que lote correspondía a cada uno de los hermanos,, era mi padre y una hermana,. Resulta que el primer año la hermana de mi padre se negó a escriturar, y ese hombre no pudo hacer los adosados, pero en estos diez años se formalizaron varios contratos privados entre el vendedor y mi padre ahora ya fallecido,.. En ellos se reflejaba el primer pago y un segundo pago todavía no recibido y un plazo de 5 años para el pago,... Bueno el pago no se ha realizado el segundo y ya acabo el plazo,.. Y este señor no quiere pagarnos,.. Pero en las escrituras ante notario figura que se realizo todo el pago, pero no ponía todo el el importe restante,.. O sea que no se como paso el comprador se la lio a mi padre y puso el segundo pago en B, y no reflejado en la escritura publica ante notario,.. Pero si viene reflejado como dije antes en el contrato privado con su firma y la de su hijo,.. Mi pregunta es anula la escritura publica el contrato privado que hicieron a posterior,... Y también se puede elevar una escritura unilateralmente por parte del comprador sin que intervenga mi padre o eso es imposible y se necesita la firma de ambas partes ante notario, lo digo porque mi padre falleció y no sabemos si fue engañado o sencillamente no fue,.. Y si debería ir yo personalmente a hablar con ese notario y preguntarle,...

Aparte este señor ha adquirido toda la finca ya, sin habernos pagado el resto del dinero,.. Y yo días antes de que venciera el plazo de 5 años le mande un burofax con acuse de recibo y certificación del texto exigiéndole que respetara ese contrato privado y que me abonara ese dinero restante o un acuerdo cediéndome parte de finca,. Poniéndome en correos no entregado dejando aviso,..

Me gustaría saber que hago pues me amenaza diciéndome que me va a demandar por daños y perjuicios por no haber podido hacer los adosados, o que le devuelva todo el dinero que me pago en el primer pago más intereses generados en estos diez años,...

Yo veo que intento especular en su día y ahora pone cualquier excusa para no pagarme lo que acordamos en su día en ese contrato privado y no entiendo porque no me demando en su día, y no ahora pasados años,, y en todo caso tendría que demandar a la hermana de mi padre que se negó a escriturar y no a nosotros,..

Y ahora no se como actuar, le he llamado para intentar llegar a un acuerdo, como la mitad de la finca lo razonable, pues me debe la mitad y no quiere pues dice que tuvo muchos gastos en su día de licencias, segregación, topógrafo, estudio etc, pues quiso hacer 7 partes de la finca,...

Y creo que sabe que al tener escrituras ante notario, no tengo nada que hacer y ese contrato privado no pinta nada,..

Ya no se que hacer,.. Y me veo sin finca, debiéndome la mitad del dinero y encima amenazándome,.. Me gustaría saber su opinión y como actuar porque pinta mal y no paro de pensar, que por desconocimiento de mi padre, confianza y buena fe, trato aprovecharse de el.