¿Qué debo hacer con mi relación si mi pareja solo me quiere por el sexo?

Estoy enamorada de un chico con el que mantengo una relación desde hace casi cuatro años. Pero la nuestra no es una relación como la de cualquier pareja, aun a pesar de que los dos somos libres. El dice que me quiere, y que está enamorado de mi, pero yo no logro percibirlo así. Estuvimos mucho tiempo viéndonos solo con motivos sexuales. No por mi parte, pues si yo lo aceptaba es porque me había enamorado de él y estos sentimientos me obligaban a verle en estas coindiciones. A menudo él se arrepentía de sus actos, pues decía que yo debía encontrar a una persona con la que rehacer mi vida. Tanto me lo repitió, que con el tiempo, empecé una relación con un amigo. Cuando se lo dije, empezó a meterse en mi nueva relación, me decía que ojalá hubiera sido capaz de ser mi pareja, y que si pudiera echar para atrás, estaría conmigo. Mi relación con ese chico no llegó a buen puerto, pues yo lo seguía amando a él. Volví a estar libre, pero él no se convirtió tampoco en mi pareja.
Con el tiempo, y después de yo insistir en que no quería una relación de tipo sexual, él empezó a proponerme de hacer más cosas juntos. De vez en cuando cenamos juntos, algunas veces hemos ido a pasear, al cine... Pero la relación es muy inestable. Hay temporadas en las que se mantiene muy alejado y otras temporadas en que se deja ver más.
Ahora hace unos días que no nos comunicamos, pues me enoja bastante su comportamiento. A veces siento que no puedo más. Siento que él no me conviene. No soporto cuando me deja sin respuesta sólo porque así le apetece.
Sé que cuando pasen más días volverá a mi como si nada hubiera pasado, y me da miedo volver a lo mismo de siempre.
¿Qué debería hacer?