Mi marido tiene en cuenta a su familia antes que a mí. ¿Debería divorciarme?

Hola, me puse novia hace cuatro años y medio, a lo primero todo fue muy bien, pero dos años después decidimos hacer obra en el piso de mi novio e irnos a vivir juntos y "comenzaron los problemas". Mis suegros y mi cuñada venían al piso dando ordenes y metiéndose en como teníamos que hacer la obra, donde poner los muebles... Etc (aunque toda la obra, los muebles y lo demás lo pagamos entre él y yo, y el piso tiene hipoteca todavía y la estamos pagando entre los dos). En el periodo de arreglar y amueblar el piso tuvimos muchas peleas por culpa de su familia, pero finalmente conseguimos superarlo y llegamos a irnos a vivir juntos y a casarnos después. El problema es que el tema de las peleas por las intromisiones de su familia en nuestra vida continúa (tenemos muchas peleas fuertes y en muchas ocasiones nos hemos faltado el respeto) y lo peor es que él nunca saca la cara por mí y pese a que se meten en nuestra vida, él se pone siempre de parte de ellos y nunca de parte mía. Por ejemplo, a veces hemos quedado para salir con nuestros amigos y como su madre lo llame por teléfono diciendo que si queremos ir a cenar, le dice que sí directamente sin contar conmigo y anula la cita con nuestros amigos, y si yo me enfado por esto, se enfada muchísimo y terminamos discutiendo. Como este caso hemos tenido muchos más, no es capaz de darle un NO por respuesta a su madre en nada y, sin embargo, no le importa discutir conmigo por ese motivo. He hablado de este tema en muchas ocasiones con él, le he dicho que yo no quiero que él quede mal con su madre ni con su familia ni tampoco distanciarle de ellos ni nada por el estilo, simplemente quiero que comprenda que su madre tiene su casa y nosotros la nuestra y que las cuentas de nuestra casa y nuestra vida personal tenemos que llevarla nosotros y no sus padres, pero no hay forma.
Me siento muy mal, porque no me siento valorada ni apoyada por él, creo que para él en mi casa no tengo el lugar de "su mujer" que me corresponde y que nunca lo tendré, siempres estaré en un segundo plano porque 1º está su familia y después estamos él y yo como matrimonio ¿crees qué debo separarme? No quisiera llegar a tener un hijo y que la cosa empeore porque se metan en la forma en que debemos cuidarlo o educarlo, y mucho menos que si llegamos a tener un hijo crezca en este mal ambiente de peleas.
Gracias ante todo por tu ayuda.