¿Puedo negarme a trabajar en fin de semana?

¿Tengo un contrato de lunes a viernes y me obligan a trabajar el fin de semana un trabajo esporádico en compensación de horas de otros días puedo negarme? Ya que es un trabajo duro