¿Puedo dejar de ser testigo en un caso de despojo?

hace un año fungí como testigo en un problema que tuvo mi ex jefe ya que lo desalojaron de su negocio, a mi ni me preguntaron si quería ser testigo, me vi forzada a testificar, pero ahora puedo perder mi actual trabajo ya que me citan en horas laborales. Mi pregunta es si hay alguna manera de dejar de ser testigo? Mi ex jefe me ha puesto claro que si no voy me meteré en problemas y ya lo veo como amenaza y estoy preocupada, ahora se que la regué en no negarme pero me preocupa