Domicilio fiscal

Hola,
Les agradecería me resolviera una duda que me ha surgido. Tengo un cliente particular que le hemos hecho una factura por una venta con fecha mayo. Ahora quiere que le modifiquemos la dirección de la factura, como esta factura está en el histórico no la puedo modificar, sino que tendría hacer un abono y facturar con la dirección correcta. La duda que tengo es que, siendo el dni el mismo ¿qué más da que tenga una dirección u otra? En teoría uno tributa por el cif ¿no?
Gracias y saludos