Mi pareja tiene hijos y convive mucho con su ex

Hola buen día, necesito ayuda soy una mujer que hace cuatro 4 años quede vuida tengo dos hijos adolescentes, en mi trabajo conocí a mi actual pareja el también tiene dos hijos, cuando lo conocí me dijo que ya no vivía con su ex que habían tenido muchos problemas y todo eso, empezamos una relación como pareja ya llevamos tres años viviendo juntos, pero cada día las cosas se ponen más difíciles, todo el tiempo la pasamos peleando ya no hay día que no empecemos o terminemos peleando, resulta que cuando yo lo conocí el me dijo que ya no vivía con su ex y con el tiempo cuando ya estábamos juntos me entero que ella vivía en casa de sus papas juntos con sus dos hijos, pero el me decía que no había nada simplemente que su papa no quería dejarla sola, bueno el se fue a vivir conmigo, con el paso del tiempo y de tanto pedirle que no era correcto que ella siguienra viviendo en casa de sus papas si se supone que ahora yo era su esposa aclaro que no estamos casados y ni tampoco se caso con su ex mujer, pero bueno le puso casa para que ella y sus hijos siempre argumentando que era para sus hijos cosa que a mi no me molesta, yo nunca pude ir a su casa por ese motivo si me presento con su mama y con su hermano tías y un poco más de familia pero con su papa nunca lo hizo porque el sr siempre dijo que la ex de mi marido siempre iba a ser su familia y yo no, cosa que siempre le dije que me molestaba que me diera mi lugar, pasaron tantas su padre murió hace muy poco y tampoco pude estar con mi esposo en esos momentos, porque pues porque quien estuvo presente fue su ex, bueno y ademas lo entendí pues si no fui del agrado del sr. No tenia yo porque estar ahí, pero ahora su ex mujer sigue vivisitando la casa su familia, el la lleva lo se aunque el me diga que no estoy segura de esto porque nunca la ha dejado que ande sola en la calle que por sus hijos que están pequeños, muchas veces se va con el que voy a ver a mis hijos y la única manera que tiene de ver a sus hijos es ir a meterse a la casa donde vive su ex con sus hijos y eso me molesta mucho y siempre le reclamo, le he propuesto otra posibilidades de ver a sus hijos sin tener que estar allá metido pero nada ha resultado, muchas veces se que según el va con su familia o a ver a sus hijos no regresa y pasan los días y no se comunica me apaga los celulare o me dice que se le acabo la pila cuando le digo que no se vale lo que me esta haciendo me dice que yo soy la que esta mal que soy muy celosa y que de todo exagero que el la ve a ella solo como la mama de sus hijos pero caramba que tiene que quedarse a dormir allá una cosa son sus hijos y otra es ella, esta situación me tiene muy mal estoy estresada a cada momento siempre pensando cosas e imaginando el desaparece y siempre regresa pidiendo person y diciendo que me ama que por eso esta conmigo lo he enfrentando he hablando tranquila con el hemos acordado muchas cosas pero siempre termina como siempre el haciend lo que quiere y yo peleando con el por todo, todo esto me ha cambiado ahora soy una mujer excesivamente celosa ya no se que hacer lo amo, pero cuando estoy muy enojada por todo lo que me hace tomo la decisión de termina ya lo he hecho en varias ocasiones he sido fuerte y no lo he buscado ni le he contestado el teléfono cuando el me busca es más le he pedido hasta las llaves de mi casa para que no regrese nunca más, pero ante su insistencia y sus promesas siempre termino cediendo todo se tranquiliza por unos días pero después otra vez lo mismo, ya estoy cansada que hago,
Agradeceré mucho su ayuda y consejo, tal vez no me expliqué bien pero ojala me entiendan y puedan ayudarme