Desconfianza

Hola! Comencé mi relación hace cuatro años con ahora mi cónyuge, al comenzar el tenia tres meses de haberse separado de su pareja con la cual duro 4 años de relación, viviendo juntos y sin hijos, luego de comenzar conmigo pasó el tiempo y ellos comenzaron a verse de nuevo sin que yo lo supiera, el hecho fue que tuvimos problemas por eso, nos dejamos y al poco tiempo volvimos, aparentemente todo estaba bien por un año hasta que me entere que su ex pareja estaba embarazada de él.. Nos dejamos y prácticamente no hubo día que no me buscara con la excusa que fue un error cometido, debido a una noche de borrachera. También la ex me supo decir que quien mandaba sobre él era ella y podía hacer lo que quisiera cuando quisiera con el y así el me quisiera haría todo lo posible porque se quedara con ella. Por medio de familiares, amigos y conversaciones regresamos.. Estamos viviendo juntos construyendo la relación en base de confianza. La madre de su hijo se fue a vivir en otro estado pero por cuestiones económicas dejó al niño con su abuela, mi pareja es responsable con él y estoy de acuerdo en que lo visite y lo atienda, y siempre le he dicho que cuando la madre de su hijo venga no me lo oculte, y que preferiría que no estuviese visitando a su hijo mientras ella esté allí si supuestamente ellos terminaron en malos términos. El hecho está en que ella volvió unos días y no me lo dijo, y más bien fue a ver a su hijo esos días, tiempo después me entero por medio de terceros. Nuestra relación está bien, conversamos, nos entendemos y es muy responsable, y la confianza se había ido construyendo pero el simple hecho de no haberme dicho hizo que me molestara y hace que desconfíe nuevamente por más que me diga que su relación con la la parte materna del niño, sus conversaciones y encuentros son meramente paternales. Me dice que no debo desconfiar porque no hizo nada malo simplemente fue a llevarle dinero un momento al parque, pero vi unas fotos de él en la casa del niño mientras estuvo la mamá presente y en el parque aunque no se observa nada comprometedor. Dice que no me dijo nada porque cada vez que me quiere hablar del tema me molesto y no le gusta que llore por cosas que solo me este imaginando.
El hecho de ya tener los antecedentes que tuvo desde el principio lo hacen ver como un engaño si lo que estamos sembrando es confianza.. Lo amo mucho y hemos conversado y superado muchas cosas, de mi parte también cometí errores pero los deje atrás porque quiero establecer mi familia. Aún así, ¿cómo puedo superar la desconfianza y no molestarme por cosas que a la final terminaría siendo insignificantes si eso fuera el caso?
Estoy en la espera de un bebe pero eso para mi no es motivo para no separarme si lo ameritase en algún momento.
Hay un proverbio árabe que dice "la primera vez que tengañen será culpa del otro, pero la segunda vez, será culpa tuya" él dice que me lo quiso contar pero cada vez que me habla del tema referente al niño me molesto y que es difícil hablar conmigo en esos casos.
¿Cómo hago para no molestarme si en realidad lo que siento es miedo a que vuelva a hacerme lo mismo? A pesar de las conversaciones y lo mucho que hemos avanzado a veces es difícil para mi no pensar en el engaño.