Ayuda con problemas de convivencia con mi esposo por culpa de mi hija de otra relación de pareja

Hola! Estoy desesperada porque no se que hacer. Tengo una ni~a de 3 a~os de una relación anterior. Actualmente estoy casada con mi esposo y estoy con el desde que mi hija tenia 1 a~o. Yo me deje de su papa cuando ella tenia 6 meses porque el comenzó a usar drogas. Luego de eso el dejo de verla porque no la buscaba y cuando usaba drogas me llamaba a molestarme y a querer verla nena así en ese estado. Cuando yo empecé a conocer a mi esposo el me perseguía y hasta una vez se metió a micasa de noche y tuve que llamar a la policía, la cuestión es que ni el ni su familia se encargan mucho de lanena y actualmente hace un a~o que no ve a su hija, hace una semana me llamo que quería ver a su hija yo le dije que después de un a~o es que se venia a acordar, la cosa es que yo no se si dejar que el la vea porque mi hija tiene una relación bien bonita con mi actual esposo y le dice papa y ella es loca con el y antes cuando la abuela de mi hija aveces la buscaba le metían cosas en la cabeza y cunado la ni~a llegaba estaba bien malcriada y diciéndonos cosas que una ni~a de 3 a~os jamas diría por si sola sino que la mandaban a decir cosas que puedo hacer porque mi esposo es la figura paterna que ella ha tenido desde que tenia un a~o y no quiero que esa relación se afecte porque le pongan cosas en la cabeza, pero tampoco quiero que mi hija se afecte en un futuro. Ademas mi esposo esta bien molesto y preocupado por lo que vaya a pasar ahora después de un a~o que estuvimos muy tranquilos sin que el nos molestara. Pienso también que su papa no es un buen ejemplo para ella porque roba, usa drogas y hasta a estado en la cárcel. Cuando vivíamos juntos el llego hasta robarse unas prendas de la misma nena.Por favor ayudame!