Devolución fianza si comprador se echa para atrás

Teníamos en estos días, que firmar ante notario una compra venta, el comprador se ha echado para atrás en el último momento, ahora pide que le devolvamos la fianza, la cual se hizo por trasferencia bancaria, le enviamos el contrato de arras penitenciales pero él no lo firmó ha esperado al último memento para notificarlo de forma verbal, nos sentimos perjudicados ya que hemos vaciado el contenido del inmueble,(¿y el nos dice que eses no es su problema)que debemos hacer?