Devolución hacienda

Buenos días,
Durante los años 2004,2005 y 2006 me he estado desgravando en la declaración de la renta por unas aportaciones realizadas a una cooperativa para adquisición de vivienda habitual. Finalmente esta cooperativa por diversos problemas no va a construir, con lo que me di de baja en noviembre aunque todavía no me han devuelto el dinero que pagué en esos 4 años. Entiendo que este año tendría que devolver las cantidades por las que me he deducido anteriormente.
Mi pregunta es la siguiente: si en la declaración de la renta de este año no hiciera tal devolución, ¿cuál seria la sanción más adelante si hacienda me lo reclamara en un futuro?
Muchas gracias