¿Estamos obligados a pagar un mínimo diario de jornada agrícola?

Trabajo en una empresa que se dedica al sector agrícola y me gustaría que alguien me explicara algo que no me cuadra en cuanto al salario de los trabajadores.

Nos hicieron una inspección en la que nos dijeron que, independientemente de que el trabajador haga dos horas y se marche del campo, tenemos la obligación de pagarle la jornada mínima diaria. No entiendo como es posible ya que el trabajador es quien abandona el puesto de trabajo. O si no llega a hacer las horas que corresponden la jornada mínima, ¿por qué le tengo que pagar el mínimo diario? Eso es así? Yo entiendo que la cotización mínima si que la tengo que aplicar, haga el día completo o no, ¿pero el salario? Es que entonces sería todo muy bonito, voy trabajo una hora, me marcho y me pagan a razón de 8 h.

No tiene sentido, ¿alguien me lo puede aclarar?