Cancelación contrato de alquiler.

Mi consulta es la siguiente: Soy propietario de una vivienda y la alquile el 1 de enero de 2007, en enero de 2009 el inquilino me llamo al móvil y me comunico su intención de cancelar el contrato pero las llaves no me las entrego hasta el 1 de marzo de este año, argumentando que necesitó todo este tiempo para el desalojo del inmueble.
Cuando se redacto el contrato, en la clausula fianza se especifico que el importe era una mensualidad: 500.- Euros pero nunca llego a pagármela porque siempre decía que andaba mal de dinero, por lo tanto nunca expedí el recibo de haber recibido el importe de la fianza.
Ahora el inquilino me reclama la fianza que no deposito, además le entregue 5 llaves de la puerta principal blindada y solo me ha devuelto 2 llaves, diciendo que el resto las extravío, tampoco quiere pagar el último recibo de la luz y el del agua.
Por favor, ¿qué debo hacer de manera pacifica y con sentido común para recuperar el resto de llaves o al menos no verme envuelto en algún problema?
Incluso hoy me ha pasado un sms, diciéndome que me denunciará en Consumo porque no le devuelvo la fianza que no existe porque nunca la depositó.
Gracias por su atención. Un saludo.

{"Lat":35.4606699514953,"Lng":-2.8125}