Custodia de hijos

Hola, me estoy separando, aunque todavía no hemos arreglado papeles ni nada, lo único es que mi marido se ha ido de casa. La cuestión es, que me han dicho que si yo estuviera con otro antes de arreglar los papeles y el se enterara, al pedir la separación podría alegar infidelidad y me quitarían la custodia de mis hijos. ¿Es eso verdad? Gracias