¿Puedo negarle a la nueva pareja de mi ex que vea a mi hijo por ser un consumidor habitual de drogas?

Me encuentro en proceso de separación con mi expareja con un niño de 4 años en común. En principio vamos a realizar la separación de mutuo acuerdo pero se que la nueva pareja de mi ex es un consumidor habitual de drogas (cocaína, anfetaminas y cannabis). El acuerdo contemplaba que esa persona no compartiese tiempo con mi hijo pero mi ex no ha respetado ese acuerdo y pasa tiempo con él estando mi hijo presente, mi pregunta ¿podría negarle a mi ex que esa persona vea a mi hijo alegando su consumo habitual de drogas?