¿La casera me debe devolver la fianza si me quiero ir porque debajo de mi casa montaron un bar?

Vivo en un 1º, y justo debajo de mi casa montaron un bar de copas abre de miércoles a sábado, desde las 23h hasta las 4h. Hemos hablado con la casera para marcharnos y nos dice que perderemos la fianza. El bar está denunciado y supera los niveles permitidos de ruido. Es imposible dormir, y queríamos saber si perderemos la fianza o podemos considerar la vivienda inhabitable por consecuencias del ruido?