Retención IRPF de mi provincia

Hola,
lo primero decir que vivo y trabajo en Bizkaia y tributo en Bizkaia.
Siempre he trabajado para empresas con sede en Madrid y me han aplicado las retenciones de Bizkaia y no las de Madrid, como yo pienso que debería ser.
Pero en la empresa que estoy ahora me dicen que ellos al tributar en Madrid me tienen que aplicar las retenciones de Madrid, y que yo ya me las arreglaré con la Hacienda de Bizkaia cuando haga la declaración.
Quiero saber si tengo derecho a pedir que me rebajen el IRPF a lo que me corresponde de verdad, ya que me retienen de más por aplicarme las tablas de Madrid y no las de Bizkaia, o si la empresa no tiene obligación de hacerlo.
Gracias.