Cancelación parcial hipoteca con ayudas ivima

Tengo una hipoteca al 50% con mi pareja de una vivienda que compramos en 2001. Nos dieron unas ayudas el IVIMA que se hicieron efectivas en el 2003 que nos obligaba a poner la hipoteca a 20 años (la teníamos a 15 años) con lo cual terminamos de pagar en el 2023 porque empezó a contar desde que nos concedieron las ayudas.
Nos queda por pagar 39000 euros y quisiéramos hacer una cancelación parcial de la hipoteca. Nuestra idea era pagar 9000 euros cada uno este año y otros 9000 al año siguiente con lo cual nos quitaríamos la hipoteca en dos años. Pero el banco dice que hay que pedir autorización a la C.M. ¿Se podrían negar a la amortización de la hipoteca?. No me fío mucho de lo que me han dicho en el banco porque me imagino que a ellos no les interesa que dejemos de tener la hipoteca con ellos.
Yo tenía entendido que no se podía cancelar dentro de los cinco años siguientes a las ayudas. ¿Cuáles serían los pasos a seguir?