Como pierde el usufructuario vitalicio el derecho?

Quisiera saber q trámite puedo hacer para solicitar q mi ex-esposo pierda el derecho de usufructuario vitalicio ya q cuando nos divorciamos para q me diera el divorcio quedó como usufructuario vitalicio, quedó estipulado q el debía pagar el cambio de título de propiedad ya q la propiedad esta a mi nombre y no lo hizo, ya tenemos 5 años d divorciados y es el mismo tiempo q el dejó la casa abandonada, actualmente la estoy componiendo ya que por el abandonó le robaron protecciones, rompieron ventanas etc. Pero me gustaria saber q puedo hacer o q pruebas debo presentar para revocar los derechos, la casa sigue a mi nombre.