Devolución fianza por desperfectos del piso

Tengo un piso alquilado desde junio. Al mes de estar allí se rompieron y quedaron caídas dos persianas y descubrimos un avispero en la ventana. Se lo dijimos al dueño y después de 4 meses todavía no lo ha arreglado. Por los desperfectos del piso lo queremos dejar y el dueño nos dice que como no hemos cumplido el contrato no nos devuelve la fianza. Estamos a oscuras y sin poder abrir las ventanas , puede quedarse con la fianza? Gracias.