Reclamar a mi casero la fianza del alquiler

He estado como arrendatario en una vivienda durante 5 meses, el contrato era de un año, tuve que cambiar de domicilio por problemas con un vecino contra el que tengo denuncias incluso le han puesto una prohibición de acercamiento hacia mi. Durante mi estancia en esa vivienda sufrí un intento de robo en el cual forzaron la puerta para intentar entrar, mi arrendador me dijo que la reparase sin denunciar y le descontara el importe en la próxima mensualidad pero que no denunciase puesto que no disponía de seguro de la vivienda y así lo hice, bien, pues ahora me dice que ha asegurado la vivienda pero que sin denuncia no le pagan el arreglo de la puerta y me está poniendo impedimentos para devolverme la fianza (un mes de alquiler) que le entregué cuando comencé a vivir en su vivienda, quisiera saber si aunque yo no haya estado en la vivienda el tiempo que consta en el contrato y haber abandonado sin avisar con un mes de antelación como también consta en el contrato pero teniendo las denuncias y atestados contra el vecino, orden de alejamiento etc... Estoy en mi derecho de reclamar la fianza puesto que no he abandonado la vivienda voluntariamente sino por dichos problemas. Espero su respuesta, gracias.