Compensar un día festivo

En mi empresa se trabajan todos los días del año y si te toca trabajar un día festivo pues se compensa con otro día previo acuerdo trabajador-empresario.
Ahora bien, mi duda es la siguiente:
¿Qué ocurre si le pido a la empresa librar un día festivo?
Pongamos como ejemplo que me toca trabajar el día de Navidad y solicito a la empresa que me lo den libre.
En la empresa me comentan que me quitarían uno de los festivos trabajados anteriormente. Mientras que yo defiendo la idea de que al ser festivo ese día no debería compensarlo con nada.
Espero haberme explicado, muchas gracias.