Devolución de dinero de compra'venta

Buen día experto, mi problema es el siguiente, hace 6 meses hicimos con el vendedor de una casa un contrato de compra-venta, pero el banco nos denegó el prestamos, así que el vendedor debería habernos devuelto el dinero desde hace unos meses, pero el dice que no tiene culpa que la compra no nos haya salido y que no tiene como pagarnos el dinero que le dimos ya que el lo gasto... Como podemos actuar legalmente, o no debemos cobrarle ese dinero, a pesar de tené claro en el documento de compra venta que el dinero se devolvería si no se gestionaba el préstamo bancario.
Que puedo hacer, asesóreme por favor, ya que necesito saber como recuperar mi dinero...
Feliz día y muchas gracias por su ayuda