Necesito consejo en la relación de pareja con mi novio por culpa del rencor por las discusiones

Hola! En realidad estoy en búsqueda de u consejo, tengo cuatro años con mi novio, lo quiero muchísimo pero tenemos una relación algo extraña, el desde que me conoció se enamoro de mi, vivía en ese entonces con una mujer y sus hijos, comenzamos a salir después de tanta insistencia por parte de el y poco a poco me fui enamorando de el, el dejo a la madre de sus hijos, hoy día y después de tanto tiempo de relación no conozco a su familia, no conozco a sus hijos, cabe destacar que el es un hombre sin muchos recursos económicos, no es nada atractivo, yo soy una mujer acostumbrada a tener todo lo que quiero y muy solvente económicamente, en realidad eso es lo que menos me importa, lo que realmente me da tristeza es que yo a el le doy absolutamente todo, todo lo comparto con el, le doy muchísimo afecto, muchísimo amor y cuando me molesto y le toco el tema de su familia se molesta y me dice que eso no es ningún problema y que si quiero continuar con la relación debo aceptarlo a el y olvidarme de su familia y que eso no puede ser de otra manera, me hace sentir mal, me dice que si quiere quiero dejarlo por su familia que lo haga, en lugar de apoyarme y prestarme colaboración se pone bravisimo y me culpa a mi de la situación, tampoco conozco a sus hijos, el dice que me ama y en realidad hemos pasado muchas cosas velas juntos pero en realidad no se que hacer, siento que estoy entregando el 100% en esta relación y a cambio no recibo ni un poquito de comprensión, ya siento que no quiero seguir con el, ¿qué hago? El me esta notando un poco rara pero por su carácter no me atrevo a decirle lo que me esta pasando, el nunca reconoce sus errores, es prepotente, es rencoroso, no da su brazo a torcer y siempre busca culparme a mi de todo lo que nos ocurre, ¿qué hago?