¿Se puede retirar la patria potestad?

Hace 4 años me separé del padre de mi hija, no estuvimos nunca casados pero tuvimos una sentencia de separación por la pensión de alimentos y régimen de visitas. La custodia me la quedé yo. Pues después de separarnos él aun veía a la niña. Pero tuvimos problemas porque cuando se la dejaba él no estaba y la dejaba con su madre y la niña lloraba y no quería ir con él, por aquel entonces la niña era pequeña, tenía tan solo 1 añito. Hasta que llegué al punto de que no se la dejé unos meses, y a él le pareció dar igual. Bueno, de eso hace ya 4 años, así que voy a ir al grano. La pensión de alimentos solo me la pasó durante el primer año y dentro de éste año solo en los 5 primeros meses si mal no recuerdo. El caso es que desde entonces, me fui a vivir a otra ciudad por motivos personales que no tienen nada que ver con este tema y desde entonces a venido solo en dos ocasiones a verla, y a veces la llamaba y le decía que vendría y luego no aparecía y la niña se llevaba un disgusto enorme, y yo, como no, a consolarla y a excusar al padre. En varias de las pocas ocasiones en que la veía le hacia chantaje emocional a la niña, diciéndole que la culpa era mía porque no se la llevaba porque el estaba malito y no podía ir a verla, cosa que era completamente falsa ya que me consta que se iba de fiesta y se gastaba todo el dinero en fiestas. Ahora hace cosa de unos meses la niña esta bien, ya no pregunta por él como antes y ya no me tengo que inventar cien mil excusas para no partirle el corazón, es feliz, yo desde hace 3 años y medio estoy con un chico el cual la quiere como un padre y hasta ella en ocasiones le llama papa, así que no le falta de nada. Solo que cuando él vuelve a aparecer le hace daño porque vuelve a desaparecer sin dar explicación, no se preocupa de ella, se puede decir que prácticamente ni la conoce porque no la a tratado apenas. Hace cuestión de dos semanas me mando un mensaje diciéndome que se la quería llevar unos días, así, sin previo aviso, y que quería recuperar a la niña. Pero no es la primera vez que lo dice y luego la deja colgada otra vez, y la niña pues ala, a llorar otra vez. No se que hacer. No quiero que le haga más daño, porque siempre que la niña esta bien aparece de nuevo y lo pone todo del revés y manipula a la niña para que se crea que la culpa de todo es mía. Por favor, pido consejo, ya que ando un poco perdida.