¿Me pueden mandar a trabajar fuera de la empresa?

Trabajo en una residencia de discapacidad y llevo 2 años en la empresa. ¿Estoy cuidando a un usuario con muchos problemas y debido a esto pasa algunas veces tiempo en el hospital. El problema es que a mi cuando va al hospital me obligan a ir. Es eso legal?. En mi contrato aparece que presto servicio en la empresa, no fuera