Se puede anular usufructo vitalicio

No estoy casada con el papa de mis hijos el compro la casa pero está a mi nombre con el usufructo a su favor hace dos meses que terminamos la relación y a venido dos veces a hacer destrozos en casa tengo 3 hijos me preocupa su seguridad y por esa cuestión no puedo negarle la entrada .. Pero realmente nunca desde hace años a vivido conmigo solo viene ocasionalmente. Realmente ahora es un extraño para mí y aunque es papa d mis hijos no son apegados a el por su actitud.. Se puede que por alguna razón anule el usufructo.