Como rellenar huecos de ventanas de aluminio con poliuretano?

Nos hemos mudado hace poco a una vivienda nueva y las ventanas están muy mal aisladas, parece que no hay nada por dentro del marco, y circula mucho aire.

Estoy pensando en rellenar el hueco entre el aluminio y la pared con poliuretano (¿lo qué deberían haber hecho?) Pero claro, con las ventanas montadas no sé por dónde hacerlo.

Haciendo taladros alrededor del marco podría meter la boquilla del poliuretano, pero eso me obliga a taparlos luego y pintar todas las paredes.

¿Alguna idea que no requiera desmontar mucho?