¿Tengo qué devolver a hacienda?

Hola! ¿Quería hacer una pregunta, nosotros tuvimos una cuenta vivienda durante 1año y medio, y la utilizamos para comprarnos un piso, pero ahora por no concedernos la hipoteca vamos a rescindir el contrato, nos tocará devolver el dinero que nos desgravamos en su día con la cuenta vivienda? Otra pregunta, de las cantidades que dimos a cuenta también nos hemos estado desgravando, si no nos devuelve el dinero el promotor, ¿nos multará hacienda o algo? O si no nos las devuelven, ¿nos quedamos como estamos?
Gracias.