¿Debo dejar que vea a la niña después de tanto tiempo?

Me separo de mi pareja con una hija en común de 4 meses. Se me concede a mi la custodia y a el visitas un fin de semana cada 15 días y siempre que los abuelos de mi hija supervisen las visitas (habían de venir ellos a recoger a la niña, a traerla y el fin de semana lo tenían que pasar en el domicilio de los abuelos). Manutención de 250 euros al mes. Mi ex pareja pega a su padre, con lo que le ponen una orden de alejamiento de el y se ha de ir de casa de su padre. Intenta abusar de su hermana de 14 años y la madre lo denuncia. Se va a vivir con una chica y acaba denunciándolo por malos tratos con lo que va 9 meses a la cárcel. Y bueno un sinfín de cosas por el estilo. Lleva 4 años sin ver a la niña, sin pasar la manutención y sin dar señales de vida y ahora se presenta aquí diciendo que viene a buscarla. Mi abogado me dice que no puede llevársela ya que no se cumplen las condiciones que se fijaron en las visitas que le tocaban, hasta ahí de acuerdo. Es alcohólico y toma drogas. Pero me pide ver a la niña. ¿Debería dejársela ver? Mi hija no se acuerda de él. Hace 4 años que no sabíamos nada de el, yo tengo otra pareja desde hace 5 años y para mi hija ese es su padre. Tal y como esta fijada la sentencia entiendo que no tengo porque dejársela ver ya que no se cumplen las condiciones.