Medidas paterno filiales

Hola buenas tardes yo quería que me informase de que es lo que puedo hacer para cambiar las medidas paterno filiales que ya tengo firmadas desde hace unos 3 años ya que el padre de mi hijo no esta siendo beneficioso para el niño, yo me separe porque el era consumidor de drogas y se ponía violento aunque nunca me llego a pegar solo a empujar, chillar e insultar, hace dos días me llego un sms a mi móvil de su actual pareja diciéndome que el seguía drogándose, que lo hacia en presencia del niño y me insulta porque yo e reecho mi vida y he tenido otro hijo, mi miedo es que el se ponga vilento con el niño y que coja el coche con mi hijo en ese estado, quiero reducir todo el tiempo con el al máximo porque el niño esta teniendo problemas de conducta y en el colegio ya me han avisado varias veces de que es rebelde, yo noto muchísimo el cambio en la personalidad del niño cuando se va con el, y cada vez más, el niño ahora tiene 4 años, y el otro día me confeso de que le sigue poniendo el pañal por las noches y que le da el de comer, al niño lo esta retrasando en su evolución, ¿y lo vuelve loco cada vez que esta con el.que puedo hacer?