Dos pagadores, en el mismo año, de cara a Hacienda.

Quisiera saber de qué manera penaliza Hacienda en caso de tener dos o más pagadores. Es decir. Si tengo un trabajo lo dejo por excedencia para irme a otro. ¿Se considera dos pagadores? ¿O se refieren a estar dado de alta en dos o más sitios de manera simultanea?.