Traslado de centro de trabajo

Buenas Tardes
Soy un limpiador en una comunidad de propietarios y actualmente trabajo 5 horas
La empresa me ha comunicado que debido a cambios organizativos, me traslada a otro centro y un compañero mio de ese centro viene a mi puesto de trabajo. ¿Es legal?, ya que yo no tengo ninguna falta en el tiempo que llevo en la empresa y soy indefinido, ademas en mi contrato pone que estoy adscrito a ese centro.
También me han ofreciso ir a otro centro en el que me aumentan las horas de contrato, pero tampoco me interesa, en este caso debo ir.
Y por ultimo me amenazan diciendo que si no acepto van hablar con la comunidad de propietarios para llegar a un acuerdo y bajar las horas de contrato y de esta manera me las bajaria a mi. ¿Esto de puede hacer, o aunque modifiquen el contrato a u horas diaria, yo seguiria con mis cinco horas?
Gracias