Buenos días: trabajo como autónomo para una empresa,

Buenos días: trabajo como profesional autónomo para una empresa a la cual llevo faturando aproximadamente 6 facturas sin irpf ha pedido de ellos. He emitido otras facturas a otras empresas pero con irpf, ademas trabajo por cuenta ajena y me realizan la retención correspondiente al irpf pero excesivamente, siempre me queda a devolver.
Mi pregunta es si esas facturas me pueden generar alguna responsabilidad, de todas maneras yo pagare el irpf correspondiente a ellas en mi declaración.
Muchas gracias