Relación con un diviorciado con dos hijas

Hola Margarita.
Estoy viviendo unos momentos angustiosos.
Llevo casi tres años de relación con un hombre divorciado y con dos hijas. Su ex es una mujer problemática y conflictiva que le puso los cuernos a él con otra mujer y le confeso que era Lesbiana.
Conmigo ha conseguido vivir una experiencia que nunca había vivido con otra mujer, y en muchos hechos veo que me quiere de verdad, pero como tiene tantos problemas con las niñas por culpa de su mujer, casi siempre estoy en conflicto con él por ese motivo, porque no cumple ningún régimen de visitas ni nada, el se ocupa de casi todo, del colegio de las niñas, de estudiar con ellas, porque la madre las tiene casi desatendida. Mientras yo no puedo tener una relación de novios normal con el, ya que yo soy soltera y no tengo hijos.
Intento hacerle ver que tiene que pararles los pies a la ex y hacer que tome sus responsabilidades con las niñas ya que ella se ha quedado con el piso y con la custodia.
El esta agobiado con tantas deudas, tiene que mantener dos casas, la de su ex y la suya propia.
Estoy cansada de que no me dedique más tiempo y ponga en orden su vida. Pero solo sabe decirme, que todo lo hace por sus niñas, que están muy solas y les da mucha penita. Porque ninguna de la localidad donde viven, y no tienen familia cercana que les ayude con ellas.
En todo lo demás conmigo, es maravilloso, y muy buena persona. Tenemos planes de irnos a vivir juntos en cuanto que yo termine de arreglar mi casa, porque el vive de alquiler.
Y se que todo el tiempo que le queda libre, después de su trabajo, llevar su casa, su comida y a sus niñas, me lo dedica a mi. Pero cada vez quiero más.
Ahora volvemos a estar enfadados, y esta ultima vez, me ha dicho que esta cansado de mi actitud y cualquier día va a estallar, por los problemas de su ex y sus niñas, y encima yo exigiéndole.
No se que hacer, si seguir adelante o dejar la relación.
Aconséjame por favor, estoy desesperada
Gracias Margarita. Espero ansiosa tu respuesta.