¿Por qué nuestra relación no funciona si nos queremos?

Hola! Reciban saludos de mi parte y gracias por prestarme atención, mi problema es el siguiente: soy mujer, tengo casi 24 añosy mi pareja (o ex-pareja) tiene 21, lo conocí en el trabajo, es en el área de la construcción, donde casi no hay mujeres, yo soy arquitecta y el solo estudio hasta prepa, el prefirió dedicarse al negocio de familia en el que le va bastante bien económicamente aunque trabaja demasiado tiempo, a mi punto de vista aun es muy joven para tantas responsabilidades. Todos en el trabajo sabían que yo le gustaba bastante, y cuando se animo a acercarse a mi, salimos pocas veces antes de comenzar nuestra relación justamente hace 5 meses. Los 2 primeros meses fueron muy buenos, hasta que el me pidió un tiempo porque se sentía muy agobiado, de ahí en adelante hemos roto la relación otras 2 veces y en menos de una semana hemos vuelto de nuevo, ya que la hemos pasado mal si no sabemos uno del otro y nos extrañamos bastante. El siempre ha sabido que paso mucho tiempo com hombres, porque trabaja conmigo, pero en horas de trabajo procuramos no vernos como pareja, solo después de la hora de la salida. La semana pasada volvimos a terminar la relación porque ya no funcionaba, yo estaba muy molesta con el porque me dejo de ver bastantes días, pensé que ya no íbamos a volver y la pase muy mal, pero hace 4 días vino a mi casa de madrugada a pedir perdón por todo, estaba un poco ebrio y platicamos bastante rato, al otro día nos encontramos en una reunión de trabajo donde yo me pase de copas, termine besándome con el y me llevo a mi casa, hechos que no recuerdo porque me puse bastante mal, le dije que yo no lo quería, no se porque lo hice porque se que no es verdad. Al día siguiente nos volvimos a ver, platicamos y me dijo que aun no me veía convencida de querer intentarlo de nuevo después de tantos intentos fallidos, por lo que decidimos ser amigos y vernos solo como eso hasta tomar la decisión de volver o no, pero es bastante difícil verlo solo como eso, quisiera saber si mi relación puede funcionar, y porque las cosas no se han dado bien. Que influirá más: ¿La diferencia de edades? ¿Qué yo tengo una carrera y el no? Porque para mi eso no ha sido problema, ¿qué el vive a hora y media de mi casa? ¿El vernos casi a diario en el trabajo? ¿Su complicado horario de trabajo? ¿Los chismes que le han llegado sobre mi y los que a mi me han llegado sobre el? Ya que de todo me entero en el trabajo. Ya hemos tenido relaciones sexuales, el me dijo que yo era la primera mujer con la que ha estado, pero el es el 5to con el que yo lo hago y no se le he dicho porque no es un tema del que yo quiera hablar, porque no se que vaya a pensar de mi. El aun vive con sus padres (al igual que yo) y a en ocasiones nos han regañado por escaparnos solos. Su padre (al igual que el mio) es bastante sobreprotector. No se donde radica el principal problema para que esto funcione, yo en verdad lo quiero y creo que el a mi! Ayuda por favor!