Dejar de declarar mi vivienda como vivienda habitual

Buenos días. A ver si me podéis ayudar.

En febrero de 2010 compré una vivienda en Sevilla, empadronándome en la misma en diciembre del mismo año. Desde esa fecha fue mi vivienda habitual. Aunque mi trabajo estaba en otra Comunidad Autónoma, debido al horario laboral flexible que tengo, pude establecer mi vivienda en mi ciudad natal. Pernoctando los días de trabajo en casa de un familiar.

El problema viene ahora. La cuestión es que inicié una relación sentimental hace un año con una chica del municipio donde trabajo y ella se ha quedado embarazada. La criatura vendría, si todo va bien, para junio de 2013, fecha en la que lógicamente instalaré mi residencia habitual en el municipio donde trabajo. Como ven no haría tres años viviendo en mi vivienda que me he estado declarando como vivienda habitual. Mi pregunta es la siguiente: ¿tendré que devolver a Hacienda lo desgravado todos estos años?¿me sancionarán?¿este caso está recogido en la legislación vigente como caso extraordinario?

Agradeciendo de antemano vuestra ayuda, recibid un saludo