No se si solobusca sexo o siente algo por mi

Hace poco más de un año termino mi ultima relación. La termine porque me encontraba en un gran crisis, no tenia trabajo, tenia la presión de mi familia, un ex con el que estuve a punto de casarme regreso diciendo que quería que regresáramos, sin embargo a pesar de mi frustración y confusión yo quería estar con mi novio en ese entonces. El nunca entendió nada ni quiso entender (así lo dijo) y al ver su falta de apoyo decidí terminar la relación porque me estaba volviendo celosa-obsesiva de sobremanera y el me dijo que estaba cansado de mi actitud.
Me aleje, encontré trabajo y empecé a salir de todo eso, pero seguía pensando en él. Seguimos hablando de vez en cuando, pero en ese "de vez en cuando" 2 de cada 3 ocasiones tenemos sexo y la charla antes y después es muy buena y bastante agradable como si fuéramos "buenos amigos", a veces me cela preguntando salgo con alguien; de hecho en una ocasión le dije que ya no quería hablar de lo nefasta que fue esa relación y el a veces lo trae al tema pero trato de hlablarlo sin darle mucha importancia ((porque si me lo tomo muy enserio el lo empieza a tomar a la ligera). Pero entonces en esa 1 de cada 3 veces que hablamos el es muy cortante, tajante, puedo decir que en ese momento me hace sentir que mi presencia le molesta.
La verdad es que no se que hacer, he intentado alejarme porque para mi la respuesta es muy obvia (el solo busca sexo), pero hay una parte de mi que busca que la relación se vuelva a dar y no se como planteárselo sin que se moleste por hablarle de esas cosas.