Despido por acumlación de bajas

Me dirijo a usted para comentarle mi situación.
Actualmente, y desde hace tres años. Trabajo en una empresa que se dedica al almacenaje y distribución de libros. Entre el desarrollo de mis funciones está el empaquetado y el traslado manual de paquetes de un sitio a otro con el consiguiente esfuerzo que eso conlleva.
La verdad es que no se toma ninguna medida para evitar daños en la espalda ni precauciones sobre riesgos laborales. Es salario es bastante bajo y no disponemos de comité de empresa ya que no somos demasiados trabajadores. Son muy estrictos y nos ponen muchísimas pegas a la hora de ir al médico, a veces no vamos por miedo.
El caso es que debido al esfuerzo constante que realizo me han tenido que dar la baja en varias ocasiones... Me han tenido por la mutua y por la seguridad social, en ambos sitios me han dicho que tengo una fuerte contractura en la espalda. He tenido que ir a un fisio por mi cuenta y pagarlo yo, ya que la empresa se desentiende.
A pesar de haber estado unos 10 días de baja (la baja más larga que he tenido)... Me incorporé al trabajo aún cuando el médico me había aconsejado seguir de baja unos días más.
El caso es que hoy me han dicho en el trabajo que quieren llegar a un acuerdo conmigo para despedirme porque, según su ellos, soy la persona que más bajas tiene tres o cuatro en estos tres años) y, por lo visto, quieren despedirme.
Dicen que me hacen un favor no despidiéndome sin acuerdo, ya que a ellos les supondría poco dinero despedirme sin ningún acuerdo. Yo no me fío mucho de esas palabras, aunque tampoco sé hasta que punto pueden despedirme así como así.
¿Qué me aconseja que haga?