¿Cómo hago para olvidar el pasado de mi novio?

Hola gracias por leer mi pregunta.
Llevo 2 años con mi novio pero antes de ser pareja solo eramos amigos con encuentros amorosos ami se em hacia feo y no lo quería el decía que solo me quería echar y que tenia que caer. Me contaba que tenia sexo con mujeres casadas con una como por 5 meses y supe con quienes o sea que las conozco y es que vivemos en un pueblo donde todo mundo se conoce.. Después de que fuimos novios hasta ahora lo amo y solo esperamos terminar mi carrera para casarme con el pero me atormenta ese pasado de el no lo puedo superar pienso que a si como a mi me hace el amor se lo hacia a esas viejas y solo de pensarlo me duele mucho.veo a esas mujeres y me da mucho enojo no quiero ni pensar que lo volvería a hacer. El dice que me ama y que soy lo que tanto esperaba y al fin lo encontró que nunca me va a dejar y ni me sera infiel de hecho quiere jurármelo delante del altar de dios, a veces olaticamos del pasado pero me da coraje porque dice que el elijia bien a sus parejas no lo puedo superar y siento que no lo haré, me da coraje pensar que estará con alguien más que conmigo le tengo m ucha cionfianza pero me acuerdo de esas señoras yo tengo 20 años y el 31. He pensado dejarlo porque no quiero vivir con el de esa forma siempre pensando en su pasado. Yo lo he estado traicionando varias veces con un ex.
Le han dicho pero lo niego, pero en fin lo que me afecta mucho es eso que antes solo eramos amigos, el tenia su novia y ami solo me quería para tener sexo aparte tenia a esas señoras casadas con las que mantenía sexo y con hijas de mi edad. Me atormenta mucho. Se que es pasado y que yo también tengo una gran cola que me arrastra pero no se porque me pasa eso y siento que no lo puedo perdoanr aunque no siento que haya sido engaño porque no lo quería y yo también andaba con otros. Que hago, ayúdenme por favor, esto me esat matando, ¿lo dejo?