Problemas con el contrato de arras

Buenas días, Tengo una duda y creo que podrías resovérmela.
Hace un mes apalabramos la venta de una casa que tenemos en el pueblo, a la vez habíamos visto otra casa en el pueblo y zona que queríamos, era una casa embargada que era llevada por una inmobiliaria. MIentras nuestro posible comprador estaba mirando prestamos, a nosotros nos pidieron todos los papeles típicos para pedir una hipoteca. Nos dicen que la casa es nuestra pero tenemos que pagar una señal de 3000 euros. A la vez nuestro comprador nos confirma escrituras en 5 días (tenemos fecha y hora en notaria) AL tenerlo tan claro ingresamos los 3000 y nos comentan en la inmobiliaria una vez entregado el pagare que van a preparar el contrato de arras. El día anterior a escriturar la casa que supuestamente habíamos vendido, la entidad bancaria le indica al comprador que del dinero que va a firmar unos 5000 euros es en concepto de seguros y demás, con lo que le deja un descubierto de 5000 euros, por lo que se cancela la escritura. Nosotros comentamos el problema en la inmobiliaria pero nos indica que tenemos que firmar el contrato de arras porque sino a ellos se les cae el pelo (el contrato llego dos semanas más tarde). Que hemos perdido el dinero de todas formas. ¿Es cierto? ¿No tenemos derecho a su devolución? Y si es así ¿Estamos obligados a firamarla? Si sabemos que no vamos a cumplirlo...
Muchas gracias de antemo.
Un saludo