Relación con una persona casada

Hola, gracias por atenderme, tengo una relación ya hace dos años con un hombre casado, se que esto no conduce a nada y que tengo que terminarlo, pero es una situación que me crea un gran estrés y no se como tengo que actuar. Por una parte soy una persona bastante solitaria, la mayoría de las veces estoy sola en mi casa y con pocas ganas de salir, ahora estoy intentado entrar en un grupo pero no me siento del todo cómoda. Esta persona con la que tengo esta relación siempre me dice que tiene un gran lío en su cabeza, que por una parte me quiere a mi pero también quiere a su mujer y que si en parte ellos no están muy bien ahora es por el porque desde que me conoce no se entrega del todo a su mujer como debería hacerlo, llevan ya 20 años juntos y el dice que siempre se ha quejado de la falta de cariño que le demuestra su mujer, que bueno que si que le quiere pero que no se lo demuestra. La sensación que yo tengo es que conmigo se encuentra muy bien en todos los aspectos, porque yo le quiero mucho y soy muy cariñosa con el, atenta, detallista y bueno nuestra manera de ser congenia mucho también, con su mujer, bueno si se querrán, pero no hay el feeling que existe entre nosotros dos, aunque mi intuición me dice que el nunca se va a separar de su mujer pues por comodidad, cobardía, no se llámalo como quieras, lo cierto es que cuando intento dejar esta situación el viene llorando, me llama a todas horas, se presenta en mi casa y bueno yo intento mantener mi postura, pero muchas veces me resulta imposible pues no quiero hacerle daño, pero por otra parte se que me estoy haciendo daño yo misma, pues cuando el está en su casa pues yo me siento mal y como abandonada, pero cuando hay oportunidad de vernos pues volvemos a caer en lo mismo, lo hemos hablado cientos de veces y le he pedido que deje de llamarme tanto porque encima llama todas las noches e incluso pienso que intenta controlar mi vida, si salgo, que hago... No sé esto es una cadena, un círculo vicioso del que no se como salir, aunque lo que si tengo claro es que para poder cortar esta relación tendría que cortar todo tipo de contacto porque si no se que no terminará nunca, pero por otra parte me da mucha pena no poder tener una relación aunque fuera de amistad con el pues le quiero mucho y me encanta como es y además existe un gran contacto también entre mi hija peque y el y su hijo y además se que si intento alejarme, no coger el teléfono, etc, el va a seguir insistiendo o presentándose en mi casa porque sabe que a la larga cuando se me pasa esta firmeza que consigo algunas veces, en momentos determinados la pierdo y volvemos a lo mismo. No sé es muy difícil resumir toda esta espirar de sentimientos y no se si me he explicado muy bien, pero agradecería cualquier consejo. Gracias