Consejo en mi relación de pareja con mi marido por celos hacia su hija

Hola espero que puedan darme un buen consejo por que realmente lo necesito tengo cinco años de casada y yo pienso que amo a mi esposo pero hay un problema o al menos eso creo yo cuando conocí a mi esposo el me platico toda su vida y yo la mía el me contó que tenia una hija pero que nunca lo habían dejado verla y que no tenia contacto con ella nuestro noviazgo no duro mucho como quince días luego nos casamos.
Después de algún tiempo como un año le hablaron para decirle que le prestaban a la niña y eso a pasado desde entonces cada seis meses más o menos y me molesto o no se explicar muy bien el sentimiento que siento cuando le hablan no es muy seguido es cada seis meses pero no me agrada si yo hubiera sabido que el la veía no me hubiera casado con el pero el dijo que no lo habían dejado verla nunca y aveces quisiera dejarlo para que pueda seguir viéndola más seguido y yo no lo molestaría yo no soy de esas personas malas como para decirle que no la vea por que es su hija y seria muy desconsiderado de mi parte pero cuando le llegan a hablar me siento realmente mal es un sentimiento que repito no puedo explicar me siento enojada pero me ganas de llorar es como si yo no aceptara que el tuvo una familia antes he pensado en dejarlo pero me parece algo muy tonto y no se si o lo hago por que lo quiero o por que estoy acostumbrada a estar con el por que ya son cinco años y tenemos un hijo de cuatro
Espero su consejo gracias (xxxxxx)