Problema con un inquilino en piso compartido

Hola,
Tenía una duda sobre un problema con un compañero de piso. Somos 4 personas en un piso compartido, hace cosa de 1 año, 3 de los inquilinos, le pedimos a esta persona que se fuera del piso, a lo que se negó. Hemos hablado con el casero y nos ha dicho que no puede hacer nada. ¿Es esto verdad y tenemos que convivir con esta persona hasta que decida irse o finalice el periodo del contrato? ¿No podemos hacer nada aunque 3 de los 4 inquilinos no queremos vivir con esta persona?
En el contrato de alquiler no hay ninguna clausula que hable sobre la finalización del mismo por alguna de las partes. La duración es de 5 años, y en Octubre hará 2 años desde que firmamos el contrato. Esta persona aparece en el contrato como uno inquilinos.
Un saludo y gracias.