¿Se puede modificar unilateralmente un acuerdo entre empresa y trabajador sobre teletrabajo?

Me gustaría consultar si es posible modificar unilateralmente un acuerdo de teletrabajo pactado entre empresa y trabajador, y que ha estado en vigor desde hace unos 5 años. Esta modificación se llevó a cabo a propuesta de la empresa (antes trabajaba en las oficinas de la misma), y fue acordado por ambas partes a través de un documento donde se especifican las condiciones de esta modificación acordada y firmada por ambas partes.

Comentar que en dicha modificación no se estableció ningún tipo de fecha de finalización o claúsula que permita realizar este tipo de modificación unilateralmente, por lo que entiendo que en el hipotético caso de que se decidiera deshacer unilateralmente esta modificación por parte de la empresa, esta supondría al menos una modificación sustancial en las condiciones de mi contrato laboral (¿es correcto?).