Caldera junker se queda encendida con el agua caliente

Hoy me he duchado he apagado el grifo y la caldera se ha quedado encendida haciendo un ruido espantoso... La he desconectado y al volver a encender el agua caliente vuelve a salir ardiendo enseguida y se queda otra vez pillada mientras veo como la temperatura sube a tope enseguida, cuando la tengo al mínimo. Se oyen ruidos de agua en la caldera, Tengo agua caliente pero me da bastante miedo...¿alguien me puede ayudar?, pues dada la situación actual es difícil llamar para que la revisen y tenemos que ducharnos.