Incompatibilidad cobor pensión jubilación y consejo administración

Buenas noches, les comento mi caso para ver si me pueden ayudar ya que estoy perdido. Tengo 71 años y tengo acciones de una empresa (sociedad anónima) y tengo un 5%. Siempre he trabajado como gerente de dicha empresa y me jubile a los 65 años. Desde entonces he seguido llevando la empresa como antes pero desde el consejo de administración del que soy presidente. De dicha empresa yo ya no cobro, salvo dietas por asistencia a los consejos y reuniones. Además, soy administrador único de varias filiales, dos de las cuales no tienen empleados, sólo yo. Hace unos meses, nos hicieron una inspección de trabajo y me ha denunciado la seguridad social por incompatibilidad de mi cargo y el cobro de la pensión de jubilación. Me ha considerado falta muy grave y me han impuesto una multa de devolver el 110% de la pensión recibida desde el inicio, intereses y una multa de 25000 euros. Total un montón de dinero. He consultado a varios abogados y todos me han dicho que lo tengo perdido, que pague cuanto antes y dimita porque me pueden reducir la pensión un 50% o/y además me pueden volver a denunciar por reiteración si me quedo en el puesto y sería el doble de multa. Que me aconsejan. Un saludo y gracias por adelantado