¿Modificación sustancial de contrato sobre contrato de origen?

Llevo 6 años en una empresa con contrato de 40h de Lunes a Domingo. Hace 3 meses firmamos ambas partes una modificación sustancial de contrato en la que mi jornada pasaba a ser de 36h semanales de Lunes a Sábado.

Ahora la empresa quiere hacerme trabajar los Domingos alegando que en el contrato de origen venían incluidos y diciéndome que si no voy será absentismo. ¿Tienen razón ellos o yo?