Error en la reinversión

Buenas tardes.
En 2001, soltero, me compre una vivienda de residencia habitual, posteriormente me case y en 2007 la vendí y compre otra también residencia habitual, pero ignorante de mi y de buena fe la escriture a mi nombre y el de mi cónyuge 50%, al año siguiente cuando realizo la declaración de la renta me sale a pagar 18.000€ y me dicen que es por que no he reinvertido todo el dinero, el dinero que saque de la venta lo invertí todo en la compra. Rectifico escrituras 85% y 15% y me salen a pagar 3.000€. Ahora Hacienda me pide 22.000€ y presentando escrituras rectificadas creo que me va a tocar pagar unos 4.000€.
No he comprado la vivienda para especular sino simplemente para vivir. ¿Existe alguna solución o algún recurso para este tipo de error sin mala intención o ignorancia y que no tenga que pagar?
Gracias