Te diría que no te lo tomes de forma personal, sino que si por ejemplo él está irascible, él es el que estaría mal en ese sentido, y estaría así por un motivo. Piensa, además, que el que actúa mal es el que se perjudica.
Tú intenta hacer tu parte lo mejor posible. Es cierto que el miedo no ayuda, sino que en ocasiones lo contrario.
En cuanto a lo exterior, tú pórtate, y contéstale, siempre, siempre con corrección. Eso queda ahí aunque no veas su efecto en el momento. Y claro que no ves lo que podría empeorar la situación de otra manera, con una mala respuesta.
Y además del exterior, lo fundamental es el interior. Y entonces te recomiendo que lejos de enfocar esa dificultad desde el punto de vista de tus intereses (mayor agrado, mayor comodidad, etc.), enfoques el tema pensando en el bien de verdad de todos los implicados, viendo incluso la situación como una posibilidad de hacer el bien.
Sobre todo dentro de esto último estaría el tener tú una vida con sentido, y ayudarlo a él a lo mismo. Dices que estuviste unos años con él, y tenéis un hijo. Da la impresión de que no estabais casados (aunque quizá no con el agravante de estar casados previamente con otros).
Por mucho que a los intereses creados les interese inculcar esto, y decir que esto es normal, natural, etc., pues esto a todas luces no es sano, ni recomendable. El amor humano hay que cuidarlo, precisamente para que no se desvíe hacia el egoísmo, y, por ejemplo, el Sacramento del Matrimonio ayuda a ello, ya que da la gracia, las fuerzas suficientes para que el amor, el deseo de bien, venza sobre el egoísmo. Y al vivir el amor, también ayudas a crecer a la otra persona en la mejor versión de sí mismo. Y quizá podríais estar todavía conviviendo habiendo hecho las cosas bien, y esforzándose en el amor, que es lo que precisamente da la felicidad, aún con todos los esfuerzos y sacrificios que conlleva.
Te recomiendo poner los medios para poder amar de verdad, como frecuentar los Sacramentos, y hacer oración; y con la gracia de Dios esforzarte en las buenas obras.
Nada de esto te garantiza ningún resultado exterior, pero, sin duda, que ayudará a mejorarlo todo, y será muy bueno para ti, ayudándote sin duda que a ver de forma diferente la situación.