Casero no quiere devolver fianza.

Hola,tengo el siguiente problema.El 5 de Setiembre di aviso al propietatio (telefonicamente) del piso que alquilaba.Dejaria el piso en Octubre,por problemas economicos.El casero, lo acepto de buena manera.Acordamos que, en Octubre entregaria las llaves y el me daria la fianza.En la primera semana de octubre, comenzaron los problemas.El casero no me cogia las reiteradas llamadas y cuando lo hacia me daba evasibas.Como el me lo solicito, ya que se encontraba supuestamente mal de salud,le entregue copia del contrato con la renuncia (aunque el contrato ya estaba vencido) a una vecina.
Al dia de la fecha en mi ultima conversacion con el, ya que no puedo localizarlo de otra manera,me ha dicho que:No cobraria la totalidad de la fianza.Los motivos que alega son.que el piso esta en mal estado,cosa que no es cierta.que le he echo perder todo el mes de octubre y que ademas debo pagarle impuestos de vivienda que no me había aumentado en su momento.
Después de discutir telefónicamente.Acordamos una cita para el pasado Lunes 14/11,no he podido localizarlo,ni telefónicamente ni presentándome en su despacho. 
Por favor agradeceré toda la información y guía que me puedan dar para salir de esta situación.
Ada Recúpero.