Recuperar día libre en diferente jornada

Trabajo desde hace 5 años en una tienda de bisutería, con un contrato parcial de 20hras a la semana de lunes a domingo, trabajando 6 meses de lunes a sábado y otros 6 meses de lunes a domingo, en la campaña de Navidad me amplían la jornada a 40hras semanales, (con una modificación de contrato sólo para esas fechas). Este año por necesidad de tienda no pude librar los festivos que cayeron en domingo, repartiendo las 40hras en el resto de días laborales, quedando pendientes de librar cuando se pudiera, mi duda ahora es: estoy ya con mi jornada de 20hras y quiero recuperar esos 3 días que me deben, mi responsable me dice que tengo que librar 3 días, pero lo que hace es que de mis 20hras semanales de lunes a sábado, descuenta 9,5hras, repartiendo el resto de horas (10,5hras) en los otros 3 días de la semana. Yo no estoy de acuerdo, ya que trabajé esos días ampliada a 40hras semanales y creo que debo librar según las horas que tenía ampliada, es decir 19hras, por esos 3 días ya que son las horas que hubiera librado en su momento. ¿Alguien me puede decir como tendría que recuperar esos días? Ya hace 6 meses que los trabajé y aún no he podido recuperarlos por no ponernos de acuerdo