¿Tengo que recuperar un día libre que disfruté por que iba a trabajar un domingo y al final ese domingo estuve de baja laboral?

Trabajo en comercio y cuando nos toca trabajar un domingo o festivo nos pertenece un día en compensación, ocurre que yo disfrute ese día antes de trabajar el domingo porque mi jefe lo puso así y antes de trabajarlo por un accidente laboral tuve que coger la baja y ese domingo pasó estando yo de baja y mi jefe me dice que tengo que recuperarlo. Yo pienso que no porque el domingo estaba programado en mi horario y eso está justificado por la baja y el día que tuve libre fue el que me correspondía esa semana porque iba a trabajar ese domingo ( que al final no trabaje porque estaba de baja). ¿Qué es lo cierto?