Cambio día festivo por día laboral

Hola, me interesaría saber si legalmente como comité de empresa puedo cambiar un día festivo por un día laboral, osea el festivo venir a trabajar y el laboral no. En el calendario anual la festividad esta como tal y esta firmado por empresa y comité, ahora bien tras una votación de los afectados a salido mayoría a favor del cambio, la dirección de empresa acepta también el cambio, pero hay tres personas en contra. ¿Estas tres personas tienen su derecho al no cambio o por el contrario tienen que aceptar la propuesta del comité y la mayoría de sus compañeros/as? ¿Hay alguna ley que especifique al respecto algo? Gracias.