¿Puede mi supervisor mandarme a casa si no hay trabajo por la tarde aún cuando tengo mi planilla de turnos anual firmada?

Trabajo como enfermero en la Comunidad Valenciana. Me ha surgido una duda a la que no encuentro respuesta y espero que puedas ayudarme.

En mi trabajo tengo una planilla con todos los turnos que tengo que hacer, esta planilla es anual y en ella hago tanto mañanas como tardes.

Hoy mi supervisor nos ha dicho que si por cualquier motivo alguna de las tardes no hubiera trabajo porque no han puesto parte de trabajo, puede decirnos que nos vayamos a casa y esa tarde se le tendrá que devolver si algún otro día lo requiere.

Me gustaría saber si esto es correcto o no.