¿Qué hago di mi novio no es cariñosos ni tiene relaciones sexuales por sus cargas familiares?

Hola, escribo desde Lima Perú, tengo 32 y mi novio 34, el caso es el siguiente:
LLevo casi 3 meses con mi novio, lo conozco desde hace 9 años aproximadamente, hemos sido amigos mucho tiempo, durante el cual el se casó y tuvo 2 hijos.Por cuestiones de infidelidad de su esposa y otros problemas de pareja que desconozco a profundidad, creo que de comunicación, ellos se separaron, ella dejo la casa y se llevo a sus niños, hoy de 3 y 6 años. Un tiempo después sin tener donde ir, la muchacha le pide asilo por lo que el le da cabida en su casa de nuevo. Actualmente ellos viven bajo el mismo techo pero el duerme solo y ella en otro dormitorio con sus hijos. Yo conocía la situación por que siempre fuimos amigos y nos contábamos todo. LA chica sabe que él está conmigo y no se opone ni nada pues ellos no tienen nada hace como 2 años, ella me conoce y yo a ella. Sus hijos no saben que él y yo somos pareja.
Los 2 priimeros meses de nuestra relación han sido muy bonitos, quizá los más bonitos que yo he tenido con alguien, en todo aspecto, sin embargo, hace ya casi 3 semanas que tuvimos una discusión por que yo le reclamaba verlo más seguido y a él le resulta imposible casi por que es quien cuida de sus hijos la mayor parte del tiempo. A raíz de ésto su actitud conmigo ha cambiado y ya tampoco tenemos relaciones. Cuando hemos conversado le he dicho que esta situación de estar con alguien que tiene carga familiar es nueva para mi pero que lo amo y quisiera aprender a llevarla por que no quiero perderlo, entonces me he propuesto ocupar mi tiempo para no agobiarlo, y así lo estoy haciendo.
Sin embargo, lo que si me preocupa es que nunca vuelva a ser conmigo el hombre cariñoso del que me enamoré y más aún que nunca quiera volver a tener relaciones conmigo por que eso me parece bastante importante y la falta de intimidad me deprime.
¿Qué puedo hacer? El me ha dicho que como está muy estresado por la situación de sus hijos que vana dejar la casa en un par de meses, por la situación económica suya y por no poderme dar lo que necesito o sea alguien que tenga todo el tiempo del mundo conmigo pues eso le genera mucho stress y le corta el deseo de cualquier cosa y no quiere hacer las cosas por compromiso.
No le menciono el tema de tener sexo por que se incomoda y me dice como que le estoy reclamando así que evito el tema.
¿Qué debo hacer yo? Ayúdeme por favor.