Cambio de colegio y de ciudad con hijos en común

Tengo dos hijos un bebé de 4 meses y un niño de 9 años. El padre y yo convivimos juntos pero no estamos casados ni papeles de por medio, hemos vivido siempre en la ciudad del padre, de hecho mis hijos nacieron en la ciudad del padre. Me gustaría irme a mi ciudad con mis hijos a 400km pero el padre no está de acuerdo y no hay manera de hacerlo por las buenas. El padre me dice que haga lo que tenga que hacer, que el ya tomara las medidas que tenga que tomar. Necesito irme para empezar a buscar trabajo porque ahora mismo estoy cobrando el paro y solo tengo 6 meses. ¿Alguien me puede ayudar y decirme que puedo hacer para poder irme lo antes posible con mis hijos sin que me pueda denunciar?