Trabajador "escaqueado"

Soy el gerente de una pequeña empresa desde hace 8 meses. Tengo un trabajador que tiene la categoría de cobrador. Su función es preparar las facturas todos los primeros de mes, repartirlas la primera semana del mes y el resto del mes, cobrarlas. Su jornada de trabajo es de 8 horas diarias. En este tiempo me di cuenta de que diariamente se lleva, aproximadamente unas 7 facturas para cobrar. Desde el principio me extraña que para cobrar esas facturas se estuviera todo el día en la calla y llega a la empresa 1/2 hora antes del cierre.
La semana pasada lo seguí 3 días para ver que hacia, y cual no fue mi sorpresa al descubrir que el trabajo lo hace por la mañana y desde la 1 de la tarde se queda en la casa hasta que regrsa a la empresa antes del cierre.
He hablado con mi asesor para ver si se le puede despedir por este motivo y me dice que no, ya que el cumple su labor, la cual es cobrar las facturas. Otra cosa es que al no tener más facturas que cobrar se quede en la casa. Dice que el juez por este motivo siempre le dará la razón al trabajador y tendré que indemnizarlo con el total del despido si él recurre el despido porque la jurispruencia así lo dice.
He pensado ponerle un detective durante una semana para tener un informe que me avale en el despido pero me dice el asesor que eso no servirá de nada.
Lo único que puedo aceres enviarle una carta de amonestación, pero eso solo implica que se pase las tardes en la oficina sentado sin hacer nada, ya que su trabajo lo realiza por las mañanas.
¿Seria posible despedirlo y ganar el juicio?. ¿Se qué no hay nada seguro pero hay jurisprudencia al respecto?