Acerca de mi relación!

Buenas querido experto!
Mi inquietud es la siguiente...
En esta etapa de mi noviazgo (7meses) tan solo he tenido relaciones sexuales 1vez con mi novio la cual fue mi 1era vez.
Mi primera vez con el no fue tan agradable porque pues la molestia el dolor y eso, y pues tengo miedo de que eso pase de nuevo porque realmente a pesar de que él tuvo cuidado pues dolió, además que no se cuido y tuve que tomar la pastilla del día después afortunadamente todo bien!
El me invito a salir en estos días y pues fuimos a su casa la cosa se puso candente, ¿y pues me dio miedo dije que "no" y el se molesto tanto que me dijo que como que miedo? Etc... Yo dije no quiero y ya sino te gusta lo siento! Y se molesto más...
¿Es normal que sienta miedo? ¿Qué puedo hacer para que eso deje de pasar estos momentos? A pesar de saber que el condón es muy seguro y pues no quiero echar a peder mi vida, yo estoy estudiando y no estoy preparada para sorpresas en este momento de mi vida.
Espero su respuesta, pues para mi es de suma importancia.. Muchas gracias de antemano