Dietas insuficientes

Buenas tardes, trabajo en una empresa de construcción con contrato indefinido en la provincia de Valencia, en estos momentos estoy desplazado a una obra que esta a 400 kilómetros de mi residencia habitual, las dietas que me están abonando no llegan a las que dice el convenio. Mi pregunta es si me presento en la central en Valencia y digo que las dietas son insuficientes y me niego a desplazarme, que repercusiones podría tener al faltar a mi puesto de trabajo.
Saludos.