Lo más probable es que sea por uno de los siguientes motivos: que los demás no saben que él es gay (que aún no ha salido de armario, y no quiere/no se atreve hacerlo por algún motivo) o que no quiere que los demás sepan que tú eres su novio. En caso de que fueras su primera pareja, podría ser que se sienta algo avergonzado e incomodo (sobre todo si es tímido) cuando estáis en público, debido que es una situación nueva para él.
En todo caso, pienso que deberías de preguntarlo directamente – si es que sois novios, debe haber confianza entre vosotros y tu pregunta no debería molestarle.