El usufructo del cónyuge superviviente

Aunque ya pagamos los impuestos no me resisto a plantear la PREGUNTA. Hace 32 años murió mi madre sin testar. Hace 6 meses falleció mi padre dejando testamento en el que nos dejaba herederos a los tres hermanos. Mi madre y mi padre tenían un piso al 50 %. Nunca hicimos nada para heredar a mi madre. Al pagar el impuesto de sucesiones con motivo del fallecimiento de mi padre, que salía a pagar 0 euros, en las oficinas de hacienda nos sacan que TENEMOS QUE CANCELAR el usufructo que por ley correspondía a mi padre, lo que traduce en tener que pagar 5000 euros entre los tres hermanos.

La expresión cancelar la asociaba a cancelar una nota registral que no existió nunca.

Al los tres años del fallecimiento de mi madre, mi padre se compró otro piso donde se fue a vivir con su segunda esposa ya fallecida. El piso familiar continuó habitado por los tres hermanos y por mi padre al enviudar.

¿No es un derecho del cónyuge superviviente el hacer uso del usufructo?

¿No debería entenderse que el cónyuge superviviente declina el usufructo del domicilio familiar al cambiar de lugar de residencia?

El usufructo, ¿no prescribe nunca? Y si prescribe con el fallecimiento del usufructuario... ¿por qué nos cobran a su fallecimiento?