Trabajo más horas de las que me corresponden

Trabajo para un particular (no una gran empresa), con un contrato indefinido en el cual se establece que mi jornada será de "40 horas semanales prestadas según convenio con los descanso que establece la ley". Sin embargo vengo trabajando unas 55 horas semanales (en ocasiones más) a lo largo de 6 días a la semana.
No tengo un horario regular especificado ni verbalmente ni por escrito; entro y salgo a las horas que más le convienen a mi jefe y no sé que día descanso hasta justo el día anterior. Trabajo también todos los festivos del año sin ningún tipo de ampliación de jornada y por supuesto sin ningún tipo de compensación salarial o descanso.
Llevo 3 años soportando esta situación y no puedo más. No tengo manera de probar las horas que hago al día pues no hay ningún sistema de fichaje ni cámaras de seguridad ni el trabajo es de cara al público.
No me interesa reclamar a estas alturas las horas trabajadas de más, tan solo quiero poder irme al cumplir la jornada diaria pero en tal caso mi jefe me despedirá alegando que no he cumplido el horario o que he faltado al trabajo. Tan solo quiero trabajar las horas que me corresponden o en caso que me despida al reclamar mi derecho, el despido no sea procedente ¿qué puedo hacer?.