Información usufructo vitalicio

Buenos días, mi pregunta es se le puede quitar el usufructo vitalicio al usufructuario por no cumplir con sus obligaciones, es que me encuentro en esa tesitura y quisiera saber si es posible .
En definitiva, es que tengo un piso, que la mitad es de mi padre con usufructo vitalicio de la parte de mi madre, pero ni atiende susu obligaciones como usufructuario, y ademas como garante de esa postura abusa con respecto a mi y mis hermanos y por eso nos planteamos como quitarle por lo menos lo que atañe a la mitad del piso de mi padre que nos pertenecería, un cordial saludo