Baja como administrador años después de cerrar empresa

Tuve una empresa que cerró hace 3 años en la que yo estaba como administrador. Mi gestor gestionó el cierre de la empresa, pero no me dio de baja en Hacienda como administrador (de lo cual me he enterado ahora). Yo no me extrañé de seguir pagando la base mínima de autónomo societario desde entonces porque también entré como administrador en otra empresa antes de cerrarla, en la cual sigo desde entonces. La cuestión es que quiero darme de baja en Hacienda como administrador de la empresa que cerré y darme de alta como administrador en Hacienda de la empresa en la que sigo ejerciendo como administrador. ¿Qué consecuencias puede traerme? Por una parte llevo 3 años pagando a la seguridad social cuotas como Administrador de una sociedad que cerró hace 3 años, por lo que entiendo que me tienen que devolver las cuotas de autónomo y por otro si me dan de alta como Administrador en la segunda empresa, con las escrituras en las que consta me inicio hace 3 años, en la cual llevo ejerciendo 3 años, entiendo que no deberían devolverme las cuotas..., pero desconozco qué consecuencias podría traerme.