Fianza de vivienda

Reservamos una vivienda y dimos una señal de entrada con contrato privado, en el contrato se estipulo que el resto seria a la concesión de la hipoteca, este señor se le dio el dinero porque debía dos recibos de hipoteca y estaba metido ya en proceso de embargo y hasta que no regularizara su situación no podíamos mover papeles para la hipoteca, movimos los papeles y el préstamo concedido no nos llegaba al precio que el pedía por la vivienda, nos reunimos en el banco y bajo de precio la vivienda quedando en que lo que nos concedía el banco por eso se escrituraba ya que los bancos hoy por hoy no dejan de escriturar por menos del préstamo, en fin dijo que si pero que lo tenia que consultar con su mujer, al día siguiente llamó y dijo que si pero que el dinero que el debía de hipoteca y lo que se iba a escriturar le salia mucho a pagar de plusvalía y que el no escrituraba en eso, quedándole claro el día anterior que se llegó a ese acuerdo porque no teníamos dinero para darle de nuestro bolsillo y ahora el nos exige que escrituremos en menos cuando no tenemos para darle dinero en b que es lo que el quiere, le dijimos que no podíamos y el que tampoco, entonces le dijimos que nos devolviera el dinero que le habíamos dado en seña ya que el se había echado para atrás en el trato y nos contestó que ya nos llamaría su abogado, el tío es un cara dura.
¿Tenemos derecho a que nos devuelva el dinero?