Baja voluntaria debiendo horas a la empresa

Tengo un contrato indefinido de 40 horas semanales; por causas de logística meto 36 hrs/sem; guardándose la empresa esas 4 horas restantes para usarlas en otro momento. Rellenando el calendario de horas anual que tenemos; ahora mismo debo 60 horas a la empresa.

Mi duda es; si dejo la empresa voluntariamente; ¿Qué pasa con esas horas que debo? ¿Tengo qué pagarlas de alguna manera? ¿O es problema de la empresa no haberlas sabido gestionar? ¿Afectaría al finiquito?