Incapacidad permanente y jubilación

Hola buenas tardes, me jubilaron por incapacidad permanente para el servicio hace varios años desde entonces me retienen en la nomina el irpf, pero hace unos días me encontré con un compañero que lo jubilaron al igual que a mi y por el mismo motivo y a el no le retienen el dicho irpf..Desearía saber si lo correcto es que me retengan en mi pensión el irpf o no, en caso de que la respuesta fuera que no me lo tienen que descontár que tendría que hacer para arreglarlo.Un saludo y muchas gracias