¿Se puede retirar o extinguir un usufructo?

Hola mi caso es el siguiente:
tengo una serie de deudas y embargos a mi nombre que no he contraido yo.
me explico, yo en mi ignorancia y confianza firme un poder notarial conocido como "poder ruinoso" (lo revoqué hace tiempo) hacia mi padre lo que le concedió en su momento capacidad para adquirir prestamos
a mi nombre, comprar viviendas, etc... Sin hacerse cargo de los pagos, recibos de luz y agua,
contribuciones, plusvalias, etc.
me consta que mi padre figura como usufructuario de una vivienda que esta a mi nombre y de otra vivienda de la que el tampoco es propietario.
la vivienda en la que figuro como propietario se encuentra embargada por un prestamo que mi padre pidio a mi nombre y que dejó de pagar las cuotas.
pero este embargo no esta efectivo por que el es usufructo del mismo aunque no vive en el.
mi pregunta es la siguiente:
¿puedo hacer algo para cancelar deudas por prestamos,multas, recibos no pagados, a mi nombre que son de mi padre ,de alguna manera quitandole como usufructo de la vivienda que no habita de la cual soy titular y vendiendo el piso y cancelar todas las deudas?