Asesoramiento sobre derechos y obligaciones

Tengo 2 hijos del mismo padre que no los ha mantenido jamás, ni siquiera ha pagado doctores, partos, escuelas vivienda o comida sino por el contrario yo he sido quien lo mantuvo a el durante 9 años. Hace 2 años y medio que estamos separados y los primeros 2 años no aportó jamás un peso. Desde que yo tengo otra relación con un extranjero y se dio cuenta de que se ve en serio comenzó a pagar la colegiatura de las escuelas (aprox 6 meses).
Ahora yo quiero cambiarme de residencia e irme a otro país a continuar mi vida con mis hijos, y este tipo ha decidido que no quiere permitir que lo haga alegando que "no me puedo llevar a sus hijos lejos de él" cuando nunca antes se había preocupado por mantenerlos (en el aspecto de cariño si ha estado presente y los ve bastante porque yo se lo he permitido siempre que ha querido). Jamás estuvimos casados y no hay juicios ni nada legal, siempre todo acuerdo fue de buena voluntad y de palabra. Yo quiero que mis hijos lo sigan viendo y estoy dispuesta a traerlos con mi dinero 2 veces por año sin que él tenga que dar pensión.
¿El realmente puede impedir que yo me valla y me lleve a los niños?, ¿Cómo puede la ley apoyarlo a él si nunca ha sido responsable?, ¿Existe la posibilidad de que le den parte de la custodia por pagar 6 meses del colegio cuando yo he pagado 8 años (edad del hijo mayor) de todo?. Me han dicho que si me los llevo sin su consentimiento puede acusarme de secuestro y ya me amenazo de que por ningún motivo va a firmarme un acuerdo ¿qué puedo hacer?.