Usufructos de vivienda

Hola a todos, tengo un terrible problema al que no sé como poner fin. Desde 1995 mi abuelo(beneficiario de los usufructos), mi tío(propietario del piso) y yo vivimos en la misma vivienda. En 2003 desgraciadamente sufrimos la pérdida de mi tío. La heredera del piso fue su hermana e hija de mi abuelo. La cuestión es que, desde el año 2003 estamos sometidos el abuelo y yo a acoso telefónico, amenazas, insultos... Quieren que abandonemos la vivienda a toda costa pero si los usufructos del piso los tiene mi abuelo y ambos estamos empadronados desde antes de 1995 ¿qué podemos hacer para acabar con esta situación que nos amarga la vida? ¿Nos pueden echar de la vivienda? Por favor, necesitamos ayuda urgentemente porque ya no aguantamos más.