Jornada laboral semanal cuando un festivo cae en fin de semana

Tengo un trabajo de 20 horas semanales, en el sector del call center, con jornada de lunes a domingo. Tenemos la siguiente situación; en caso de festivo que cae de lunes a viernes, a los que trabajan el festivo, aparte de un plus, se les da un día libre remunerado, y a quien no trabaja, esa semana trabaja una jornada menos, 16 horas. Sin embargo, si el festivo es en fin de semana, el tratamiento para quien lo trabaje es el mismo, pero a quien no le toca trabajarlo, trabaja las 20 horas.

Yo creo que en ese caso se pierde un festivo o se trabaja una jornada de más en computo anual si no se rectifica. ¿Es así? Agradecería normativa o jurisprudencia por si tengo que utilizarla en la empresa

Muchas gracias