Como calibrar válvula reductora presión

Tengo un deposito de agua caliente calentado por paneles solares que dispone de una válvula, creo que se llama de "alivio," para cuando tiene mucha presión deja escapar el agua. He instalado una válvula limitadora de presión antes del deposito, porque la de alivio soltaba agua de vez en cuando y como esta en un sótano, no puedo tirarla a la calle. El caso es que la limitadora la puse a 4 bar y con el grifo abierto eso marcaba. Pero cuando cierro ese grifo y pasa un rato, el manómetro me indica 6, y claro, tiempo después la de alivio vuelve a soltar agua. ¿No hay forma de que se estabilice en 4? O estoy haciendo algo mal.