Contrato privado entre dos personas

Hace un año firme un contrato privado con el promotor de mi piso, con el cual me sentí estafado por el precio que me puso por el piso y que poco después vendió otro exactamente igual que el mio por 60000 euros menos. Total que para no perder lo que había dado a cuenta me propuso hacer un contrato privado para pagarle poco a poco 18000 euros y así no tener que meterlo en hipoteca. Yo ya le he pagado algo de eso, unos 1000 y pico euros, pero no me gustaría seguir pagándole porque me sentí estafado. Mi pregunta es, que un pobre como yo si dejo de pagar, ¿qué me puede pasar? Tengo las de perder, el contrato lo hice con unos de sus empleados y lo firmo su mujer. El contrato son dos folios, pero ni notario ni nada. ¿Qué me puedes aconsejar?