Empadronarme en un municipio distinto a mi vivienda habitual

Buenos días mi pregunta es la siguiente;

Me compre mi vivienda habitual en el 2009, por ella disfruto de los correspondientes beneficios fiscales, este año me he comprado una casa más cerca de mi trabajo para evitarme largos desplazamientos. ¿Si me empadrono en el municipio donde ahora paso 4 de los 7 días de la semana perdería mis derechos de desgrabarme por mi primera vivienda?

Un saludo y gracias por su tiempo