¿Cómo puedo empezar los trámites para quitar los derechos paternos de mi hijo?

Hace 6 meses me separe del padre de mi hijo por infidelidad algo que el no aceptó y empezó a tener agresiones físicas y psicológicas conmigo el es un hombre con problemas de drogadicción yo lo demande cuando empezó agredirme y después de 2 años de procedimiento la fiscalía le dijo que no podía volver acercarse a mi porque iba a terminar en la cárcel en fin el no responde por mi hijo desde los 2 años de edad mi hijo ya tiene 7 años y para el niño ese hombre no existe no lo ve como su papa el tipo nunca vi a mi hijo y este año se fue para argentina a seguir un equipo de fútbol el tipo como dije antes es drogadicto y no aporta en nada desde hace 6 años. Quisiera saber que puedo hacer para que este tipo no tenga nada que ver con mi hijo en un futuro les agradezco muchísimo toda la información posible