Entra mucho aire por la rejilla de ventilación del baño y además de ser frío, se va el calor

Lo primero es tener en cuenta que esa rejilla es para ventilación, es decir para renovar el aire del recinto, en este caso el baño.

Normalmente están pensadas para lugares con falta de ventilación al ser interiores y no tener acceso a la fachada.

Como en tu caso tienes una ventana, la renovación del aire del espacio es tan fácil como abrirla un rato.

En los baños, se acumula vapor de agua cuando se utiliza la ducha o la bañera, y ese exceso de humedad se convierte en muchos casos en aparición de moho. Por ello es por lo que el baño necesita un lugar por donde evacuar ese exceso de humedad, que es la rejilla de ventilación, además de ayudar a evacuar otros "vapores" digamos corporales.

Visto esto, si tu baño esta bien ventilado, puedes cerrar la rejilla esa sobre todo cuando lo que esta haciendo es perder calor o mejor dicho meter frio.

Tienes rejillas con sistema de apertura y cierre que te permite abrirla y cerrarla cuando lo necesites:

https://www.amazon.es/BricoLoco-ventilaci%C3%B3n-rectangular-regulable-mosquitera/dp/B08WKGWLP6/ref=asc_df_B08WKGWLP6/?tag=googshopes-21&linkCode=df0&hvadid=593273661763&hvpos=&hvnetw=g&hvrand=4227771365261373382&hvpone=&hvptwo=&hvqmt=&hvdev=c&hvdvcmdl=&hvlocint=&hvlocphy=1005547&hvtargid=pla-1874825076391&mcid=d6816924c8453d73a0b154cb8cb85d39&th=1 

También puedes ponerle a la que tienes ahora un filtro, que tu puedes hacer con un estropajo de esos verdes, a través del cual va a seguir entrando y saliendo aire pero no como un chorro de frio polar.

Y la otra opción que planteas es poner un extractor conectado a la luz del baño que se va activar cuando se use el baño e incluso los hay con higrómetro que siguen funcionando cuando detectan vapor de agua o exceso de humedad.

Tú lo has dicho o taparla o un extractor con antirretorno no hay más historia