Contrato compraventa

Hola! Si me ayudaras me quitarías un gran peso de encima. Resulta que firme un contrato de compraventa de un piso, por el cual daba 321 euros al mes hasta la fecha de entrega, donde daba el resto hasta el 20% del total y luego hipoteca por el resto, pero resulta que mi novia y yo lo hemos dejado y al mandar un mail a la inmobiliaria para decir que estaba pensando en rescindir el contrato por causas personales me dicen que no puedo y que atendiendo al articulo 1 124 del código civil me pedirían daños y perjuicios y costas del juicio y mogollón de cosas más... Yo creo que esto es para meternos miedo y que no lo hagamos pero me da un poco de miedo.. El caso es que en el contrato no existe ninguna clausula de rescisión unilateral, solo que se quedarían un 30% de lo pagado en caso de impago de 2 recibos... ¿podrías responderme? Gracias por adelantado