Centro de trabajo indicado en el contrato y validez del mismo

Mi contrato es por obra y servicio dando soporte a los usuarios de otra empresa (empresaX), cliente de mi empresa.

El soporte realmente lo damos a usuarios de otra empresa cliente de esta última (empresaY). En Agosto esta última empresa (empresaY) va a cambiar de proveedor y nos han ofrecido un contrato allí. El problema es que mi empresa no está por la labor de finalizar nuestros contratos y quiere que nos demos de baja voluntariamente y nos ha amenazado de forma velada con recolocarnos en otro servicio que tengan con la empresaX.

Mi pregunta es, dado que en mi contrato el centro de trabajo indicado es una oficina de la empresaX concreta (que creo que van a dejar) ¿es legal que me puedan reubicar a otro servicio en otro sitio?

En el contrato no hay ninguna clausula de movilidad.