Problema con mi marido

Hola estoy con mi marido desde hace12 años, desde hace 5 que estamos casados y desde hace 2 años tengo muchos problemas con el y peleas a consecuencia de la familia de ambos.
sus padres y los míos vivimo en el mismo pueblo, y mi suegro desde hace 1 año le dio un istu y lo ha dejado fatal, y mi suegra aunque esta bien pero se le ha venido esto muy grande.
el tiene mas 3 hermanos mas, con el son 4 y entre todos se van turnando por las noches para preparar a su padre a la hora de dormir.
hasta aquí no hay ningún problema ya que veo bien todo lo que están haciendo porque es su padre, yo también haría lo mismo con el mio.
la cuestión es que también tenemos un niño de 1 añito y el aunque este en algunos momntos con su hijo y conmigo, el nama que piensa en sus padres esta obsesionado con ir cada dos por tres a su casa para ver como están sus padres yo también voy a mi casa a vera los míos aunque los míos este bien, pero me gusta pasar a verlos, pero esto que os cuento se esta volviendo en una rutina tan grande que veo que esto va a destruir nuestro matrimonio, el es mucho de sus padres y yo de lo míos, y cada dos por tres nos estamos hechndo en cara que si tu vas mas a tu casa que si tu a la tuya y esto no pude seguir así, ya lo hemos hablado y no ponemos ni vemos ninguna solución y yo me estoy cansando de este tema de su familia y de la mía siempre estamos iual de lunes a domingo nos pasamos varias veces por su casa y por la de mis padres y así estamos siempre y hechandono en cara siempre esto..
por favor pido que me ayudéis para sarbar esta relación porque yo lo quiero a el, pero no consigo salir de esto.
gracias