Reclamar fianza

Hola,
Hace unos días mi pareja y yo fuimos a ver una casa para alquiler. En ese mismo momento le dijimos al propietario que nos la queríamos quedar y sobre la marcha nos pidió el importe de la fianza (lo cual sacamos inmediatamente del cajero). Haciendo entrega del dinero, nos dio la llave de la casa pero sin contrato ni recibo de haberle dado ese dinero.
La casa todavía no nos la puede entregar porque el arrendador está arreglando unas humedades y desperfectos que hay en la vivienda y tardará una o dos semanas en tenerla disponible.
Tres días más tarde (la casa todavía no está arreglada) nos ha surgido comprar una propiedad, por lo que no nos interesa alquilar ésta. El propietario no nos quiere devolver la fianza porque dice que ha perdido de alquilarla cuando lo cierto es que todavía nadie se puede meter a vivir en ella por no estar disponible.
Queremos saber si tenemos derecho a reclamar ese dinero que le hemos dado por adelantado, sin tener un comprobante de ello.
Gracias de antemano.