No para de salir agua de mi caldera

Te cuento la historia brevemente para no liarnos mucho. En casa tengo una caldera Saunier Duval Themis 214 23 para calefacción y agua caliente, de gas. El caso es que ayer miramos la presión y estaba altísima (estaba en el 4). El caso es que para bajarla decidimos girar la rosca azul que hay en la parte de la izquierda y automáticamente empezó a salir agua de la parte derecha de la caldera. En un primer momento pensamos que simplemente era que se estaba purgando, pero no dejaba de salir agua. Ahora la situación es la siguiente si el agua de la casa esta cortada no hay ningún problema, pero en el momento en el que la abrimos para asearnos y demás, empieza a salir un chorro de agua bastante grande por la parte derecha de la caldera y no para hasta que volvemos a cortar el agua de la casa. ¿Podríamos hacer algo para solucionarlo?