Tenencia de un niño de 4 años

Tengo un hijo de 4 años, soy madre soltera, sin embargo, el padre siempre ha estado presente económica y afectivamente, hoy por hoy, siento que debido a que he decidido terminar indefectiblemente una relación amorosa con él, (por infidelidades y violencia de su parte), es importante aclarar que nunca lo he denunciado. Pero hoy siento que él desea quitarme a mi niño, él es policia y la hermana abogada y tengo miedo, yo soy profesora de secundaria, siempre viví con Benjamín, jamas negué que estuviera con su padre ni con su flia, entre las idas y venidas amorosas, siempre Benjamín ha concurrido a la casa de los abuelos paternos, llevándolo por mi misma, o ellos buscandolo, en una buena relación, pero hoy tiene 4 años y debido a la separación, su padre y la flia paterna, quieren llevarlo por 4 días completos, cosa que no me parece y la verdad tengo mucho miedo.