Mi padre como usufructo

Buenos días, mi novia y yo nos queremos ir con mis dos hijos a vivir a mi casa de la que soy el propietario pero mi padre aparece como usufrutario vitalicio. Resulta que esta persona lleva 10 años viviendo conmigo en esta casa pero nunca ha aportado dinero para ayudarme en la hipoteca, ni los recibos ademas de no ser muy higiénico ni poder convivir con el. Nuestro problema es que he hablado con él con el fin de quew nos deje la casa para nosotros ya que he sido yo el que siempre he pagado todo y he echo las reformas etc... Pero el me dice que solo se va si le damos 7 millones de pesetas, cosa que vemos muy injusto.. ¿qué podemos hacer? ¿Le tendríamos que dar el dinero obligatoriamente para poder estar solos en nuestra casa? ¿Podrías aportarme alguna otra solución? Espero la respuesta lo antes posible ya que este tema lo queremos arreglar lo antes posible
Muchas gracias