El hijo de mi pareja me incomoda

Es cierto que conocí a mi pareja con un niño de 3 años, y al principio todo iba bien, a ella solo la quería como es cuando se inicia una relación, pero después llegue a sentir mas por ella a la vez sentía que mi relación no era de dos y su pequeño, si no que había alguien más, el papá. Iba pasando el tiempo y a medida que iba creciendo siempre preguntaba por su papá y era como un 'motivo' para que éste lo fuera a recoger, motivo para conversar, motivo de pelea inclusive física entre él y yo. Sentía que venía hasta por gusto con el pretexto de ver a su hijo, fue cuando sin darme cuenta empecé a ver al pequeño con otros ojos, me empezaba a incomodar. Peleamos varias veces con mi pareja sobre el tema de que no me llevaba bien con el pequeño, ya que trataba de alejarme, cada vez que estaba con mi pareja y nos besábamos o algo así, el pequeño siempre venía y me incomodaba le decía mama, mama.. A tal punto que buscaba demasiado a su madre y eso me molestaba y me iba a un lado. Lo trataba de evitar a toda costa, lo extraño es que cuando me quedaba solo con el pequeño me llevaba bien sentía que lo quería mucho lo abrazaba jugábamos al fútbol, etc... Pero eran mas los momentos en que debíamos pasar los tres, me daba vergüenza andar por la calle con el y su mama, me sentía ajeno, caminaba delante o tras de ellos, nunca al lado.como decía de las peleas con su mama de por que yo no me llevaba bien con el pequeño hubo dos veces que fueron fuertes y terminamos, la primera arrepentido de lo que hice la fui a buscar con ánimos de cambiar, pero con el tiempo todo volvió a ser igual, ya a los cinco años de relación hace poco terminamos y era no solo que peleaba por que me hacia al tercio con su hijo si no que a mi me incomodaba mucho que su papa viniera a buscarlo y peleábamos y discutíamos, y la relación termino. Ahora ya a casi dos meses cada día siento que quiero volver a su lado la amo en realidad, pero temo que vuelva a ser como paso la primera vez que terminamos, la extraño y se que ambos son mi vida, mi familia, pero tengo miedo de ser nuevamente el monstruo que fui, con los dos.