Resolución de usufructo

buenas noches una persona compro una casa hace mas de 20 años por usufructo vitalicio, el beneficiario como desde hace 1 año no habita la parte que de la casa que esta en usufructo, por enfermedad y vejez se lo llevaron unos familiares, y le nieto se quedo hay con su esposa e hijo y que eso era de su abuelo   y no se quiere salir, y dice que es el dueño, en vista de que no hay desalojo que medida efectiva y rápida se puede tomar en este caso, muchas gracias