¿Debo dejar la relación con el tío de mi mejor amiga que tiene 12 años más que yo?

Buenos días,
Te comento mi historia para ver si me puedes echar una mano. Soy Inma una chica de 24 años hace ya 4 años conocí a un chico que es el tío de mi mejor amiga el tiene 36. Desde el primer momento el me gusto bastante y por su parte igual ya que en un par de meses empezamos a vernos y a quedar. Esta historia era una simple aventura y por ello quedábamos a escondidas para que nadie interviniese. Pero yo me enamore de el y ese fue mi error. Llevábamos viendo unos meses cuando de repente el empieza a estar diferente como comiéndose mucho la cabeza y cada vez que le preguntaba me decía que estaba hecho un lio pero no me contaba más hasta que empezamos a distanciarnos hasta dejar de quedar. Meses después volvió a aparecer en mi vida y volvimos a la misma historia pero de nuevo paso lo mismo, cuando parecía que todo iba bien y quedábamos más de seguido se marchaba. Así una y otra vez. Todo llego al punto de teniendo el pareja buscarme y decirme que necesitaba estar conmigo claro que yo se lo dije que el tenia pareja y yo no quería nada con el así, pero el seguía insistiendo en verme. Hace unos meses se dejo con su pareja y empezó de nuevo a llamarme con escusas tontas el caso era que nos viéramos aunque solo fuera par ayudarle a algo, hasta que de nuevo nos hemos empezado a ver. La verdad yo lo he pasado muy mal cada vez que se va pero no puedo evitarlo ya que aparte de su insistencia el me gusta y mucho pero no puedo volver a pasar por lo mismo. ¿Qué puedo hacer y porque actúa así? ¿Por qué siempre acaba buscándome si luego no se concreta nada entre nosotros?
¿Qué hago?
Un saludo y gracias