Relevación de inventario y fianza

Hola buenos días, al morir mi madre dejo a su pareja (no estaban casados) el usufructo de una casa de verano donde solíamos ir todos los hijos con nuestros maridos y mujeres e hijos nuestros. Al morir mi madre no nos dejo ir mas a esta casa de vacaciones ni juntos ni separados, hemos intentado hablar con el por las buenas y no hay manera. El cada dos por tres va hasta galicia a la dicha casa con sus amigos y amigas y dicen que una amiguita. A nosotros eso nos da igual con quien vaya pero nos duele que nos prive a ir a la casa de mi madre que con tanta ilusión hizo para nosotros y estar todos juntos. En el testamento dice que es usufructo vitalicio de la casa con relevación de inventario y fianza. Nos pueden aconsejar por favor. Hace 5 años que murió mi madre. Gracias