Nuestro casero nos quiere pedir más dinero que la fianza

Llevaba alquilado casi 4 años. Cuando se me entrego las llaves que fue el mismo día que firmame contrato parecía estar todo bien, aunque no fue así. Le hice constar varios desperfectos que ya estaban con fotografías vía email. A lo cual dijo que no me preocupase que no iba a pasar nada, que eso estaba de otro inquilino que tuvo al cual tuvo que retirarle la fianza. Pues bien, cuando abandoné la vivienda él no podía acudir porque vivía en otra comunidad (de esto hace ya casi 4 meses). Me pidió que le dejase a un íntimo amigo suyo las llaves y así lo hice, tampoco firme fin de contrato por ese motivo. Ahora después de 3 meses que sigue sin devolver fianza, me dice que la mesa del comedor tiene alguna raya. Me dijo que compraría un barniz reparador especial para tapar ese par de rasguños que para nada han sido intencionados. Y me pasa un presupuesto de un carpintero que asciende a más de 400 euros, por cambiar toda la parte superior y ponerla nueva. Debo decir que el mobiliario no se me puso nuevo. Qué ya había sido usado por otros muchos inquilinos y que tenía más de 15 años. Me dice que no me devuelve la fianza y que aún le debo dinero. Me ha bloqueado los WhatsApp, no contesta llamadas, ni emails. Sabiendo que estaba en la zona he tratado de ir al domicilio para hablar y poner una solución en la cual no he obtenido resultados. Pues no me abre ni la puerta. Me parece que está totalmente injustificado este comportamiento, cuando siempre he pagado fielmente todas las facturas, incluso antes de la fecha establecida. A lo que voy, ¿Puede hacer esto? ¿Puede quitarme la fianza y pedirme más dinero por dos simples rayas que ni si quiera son profundas y no han sido realizas adrede y pedirme más dinero? Y sobre todo sin haberme puesto el mobiliario nuevo, que ya tenía sus años y sus pequeñas imperfecciones. Sinceramente me parece abusivo... Y estoy muy perdido en el tema. Si alguien pudiera poner un poco se claridad a esta situación, lo agradecería. Jamás como inquilino me ha pasado nada similar, me parece totalmente surrealista está situación.