Impago retenciones garantís

Hola. Te planteo la siguiente cuestión, a ver si me puedes ayudar.
Emitimos a un cliente factura por trabajos realizados con retención por garantía, de la siguiente forma:
Base Imponible = 100
Iva = 16
Retencion = -5
Total = 111
Esas retenciones se cobrarían pasado un año después de haber finalizado todos los trabajos de obra (con una nota de cargo, ya que el IVA ya se devengo inicialmente)
Si acordamos con el cliente no cobrar esas retenciones (porque a cambio nos ha hecho unos pagos al contado de otras facturas), ¿sería necesario emitir una factura abono a efectos fiscales?
Yo considero que no, ya que la retención es un acuerdo en la forma de pago. Ademas si hago abono seria:
Base = -5
Iva = -0,80
Total = -5,80
Con lo cual la deuda del cliente seria 116 - 5,80 = 110,20
Y si ya me pago los 111 ¿le tengo que devolver en efectivo 0,80?
Te agradecería tu ayuda. Un saludo.