¿Debería dejar a mi marido y ser feliz a pesar de nuestros años de relación y nuestros dos hijos?

Hola, en realidad necesito un consejo. Tengo 16 años de casada. Ambos tenemos 39 años. Tenemos dos hijos, una 15 y otro de 11 años. Nuestra historia no empezó bien. Nos conocimos en la Universidad, estudiábamos en diferentes facultades. Empezamos a vernos, asumimos ser novios. Empezamos a tener intimidad como a los 8 meses. Luego quede embarazada, tuve una pérdida. Mi familia presionó para que nos casáramos. Cabe aclarar que para ambos, era nuestra primera vez. Eramos totalmente inexpertos. A él sus padres no le daban libertad, a pesar de ser mayor de edad. Y en mi caso, mis padres murieron cuando chica, y mi hermana tampoco me dejo hacer o decidir por mi misma. Al final nos casamos. Un día, después de un par de meses de convivencia, me hizo saber que llegaría el día que me viera sin ropa y que no le provocaría nada. Durante estos 16 años han habido mil excusas de su parte para no tener intimidad. Para no tener tiempo juntos. Por mi falta de afecto cuando niña, no quise dejar a mis hijos a cargo de una extraña y me he quedado en casa, como ama de casa y madre a tiempo completo; pensando que es lo mejor para ellos. Para que ellos no vivieran el abandono que yo sufrí. El trabaja y es un buen proveedor, no pasa mucho tiempo en casa, tampoco es un padre muy dedicado, aunque no es mal padre. Nosotros casi no pasamos tiempo como pareja, no hacemos nada juntos. Tenemos relaciones intimas, pero al final me siento solo usada. A él no le interesa sí me ha gustado, sí he quedado satisfecha, me usa y ya. Mi autoestima esta por los suelos, peso como 50 libras de más. No me siento de capaz de salir adelante sola. Quiero salirme de esto, pero no tengo idea de cómo hacerlo. Siento que no sirvo para nada. Solo he sido madre y ama de casa durante todo este tiempo. El dice que cada uno tiene su vida propia, que él es libre de hacer lo que le venga en gana. Que sí se le antoja tener amantes lo hará sin remordimiento. Que igual, tiene derecho a ser feliz. ¿Qué hago? ¿Tiro todo a la basura? ¿Cómo empiezo de nuevo..? ¿Y nuestros hijos? Aconséjeme por favor... Mil gracias de antemano.