¿Atracción física o algo más?

Hace como un mes que conocí a un chico, y ya desde la primera vez que nos vimos nos liamos al despedirnos. Tenemos mucha química y atracción física. Y las primeras veces que quedamos yo estaba muy a gusto con él, sentía conexión y atracción.
Desde el primer momento yo le dejé claro que me atraía y él siempre ha preferido ir despacio, con tranquilidad, dice que no quiere precipitarse.
Hace unas semanas dimos un paso más y por nuestra atracción evidente tuvimos relaciones sexuales, eso hizo también que yo creara expectativas, en fin, bueno, él me gusta, siento conexión y estoy a gusto con él. Pero después de mantener las relaciones sexuales al día siguiente me le encontré en el msn y le vi muy raro, muy frío y al día siguiente no me llamó así que cuando un día después volví a encontrarlo en el msn le pregunte si iba todo bien y él me dijo que sí, que porque lo preguntaba. Y yo le dije que tenía una sensación extraña, como que estaba más frío y distante y que como el día anterior no había sabido nada de él, y él me dice que sólo había sido un día y que tampoco era para hablar todos los días.
Me dijo que si yo buscaba algo más no podía darme una respuesta y yo le dije que también estaba bien como hasta ahora (porque hasta entonces hablábamos todos los días y nos veíamos los fines de semana, 1 día) y él me dijo que no entendía porque me rallaba, que si con un mes que hacía que nos conocíamos ya andaba rayándome que íbamos mal, que eso le hacía a él también pensar... Bueno ese día la cosa se quedó fría, colgamos el teléfono distantes.
Luego yo tomé la decisión de no darle tanta importancia a las cosas, de ser un poco más paciente y estar más tranquila... Hemos vuelto a quedar y después de esa conversación y sabiendo que en el fondo no tenemos nada (nos acostamos y nos estamos conociendo, él dice que está bien así por el momento) me crea inseguridad.
Soy una persona insegura y para mostrarme tal y como soy, ser espontánea, divertida como yo en realidad soy necesito tener confianza, que la otra persona me la dé. Siento que con él he perdido la confianza, me siento examinada y como en la posición de intentar conquistarle y eso me bloquea, hace que esté más nerviosa, no me salga una conversación fluida... Eso me preocupa.
Tras la conversación que yo le dije que no me había llamado que si pasaba algo y el me dijo que no, que estaba bien y que no entendía a qué venía eso he perdido confianza y cuando nos hemos visto la última vez no he conseguido estar relajada. Estoy tratando en terapia mis problemas de autoestima y creo que ésto no me viene nada bien.
No sé si debería hablar con él las cosas sinceramente, decirle que la incertidumbre y el saber que no tenemos nada cuando a mi él sé me gusta me provoca inseguridad y falta de confianza y preguntarle qués es lo que opina de nuestra relación, si quiere apostar por ella o qué.
Está muy clara la atracción sexual, es cuando más a gusto y unida a él me siento, pero las conversaciones en mi caso se vuelven tensas, no consigo relajarme cuando antes, cuando nos conocimos había conexión y yo me sentía libre de hablar cualquier cosa. Me preocupa mi cambio sobretodo.
También he pensado mostrar algo de indiferencia, a ver qué hace y dejar de preocuparme por el tema, hacer mi vida y si quedamos y me llama bien, y si no pues intentar no pensar mucho. Quitarle importancia y ver a dónde llega todo pero dejar de pensar en él y hacer planes para pasar más tiempo juntos, porque él siempre acepta, pero no propone las cosas.