¿Necesito ganar peso?

Buenas, tengo 23 años y mido 1'66 m. Peso 57 kilos exactos y cuando le digo a la gente que me quiero quedar en 54 dicen que lo que tengo que hacer es ganar, pero todos ellos son culturistas y se flipan con el tema de los músculos.
Entreno 2 veces al día porque quiero opositar a bombero, mi gimnasio no dura más de media hora y lo hago por obligación para las oposiciones. A mí me gusta el atletismo, fútbol, etc... El caso es que no sé si debería perder ese par de kilos o ganar algo de masa, lo que no quiero es ponerme hecho un Conan musculitos, me da grima. Además no estoy tan delgado de cintura para arriba.
¿Cómo rendiría más deportivamente? ¿Con más peso o con menos? ¿Consejos? Muchas gracias de antemano.