Es probable, como tú sospechas, que el ardor se deba a una infección, por ejemplo, por hongos. Aunque si no presentas otras molestias (picazón, enrojecimiento/hinchazón de la vagina/labios menores, secreciones atípicas, etc), puede ser que el problema se deba a los cambios del pH de la vagina, o a alguna mini herida en los tejidos de la vagina que podría haber ocasionada por alguna penetración anterior “brusca”, o sea que no estabas bien lubricada, y que ahora en el contacto con el esperma siga sensible.
Lo que podrías hacer es durante un tiempo usar el preservativo (así evitarás las molestias) y pasadas 2 semanas, por ejemplo, volver a tener las relaciones sin preservativo, para ver si el problema persiste.
En caso si tuvieras otros síntomas (los mencionados arriba) de una posible infección vaginal, deberías acudir a un ginecólogo para que te haga un chequeo y prescriba un tratamiento si es necesario.