¿Puedo irme con los niños el fin de semana a casa de mi madre aunque mi marido no esté de acuerdo?

Vivo en España y estoy esperando para iniciar el divorcio de mutuo acuerdo. Hemos solicitado la justicia gratuita y esperamos respuesta. Pero ahora mi marido no me deja llevarme a los niños a casa de mi madre, (tenemos 3hijos)ni que se vaya uno de ellos por la tarde con un familiar mío a jugar con sus hijos. (Todo eso en la misma ciudad o en el pueblo de al lado a cuatro km de nuestro domicilio) Quiere que le pidamos permiso y yo en nuestra situación, que no hablamos casi, solamente le informo de mis planes. El, el fin de semana se la pasa en su habitación sin hacer nada con ellos. Yo en ningún momento me he negado a que el haga nada con ellos o que se vaya con ellos a casa de su madre. Algo que ya tampoco hace. Y no se como enfrentarme a esto. Esto también genera que mi hijo mayor se enfrente a su padre porque lo ve una injusticia y tengo miedo de que haya un posible conflicto. Así que ahora dudo de enfrentarme o no decir nada por miedo. No sé si existe alguna ley que pueda enseñarle y así no se oponga. Lo hace solo por molestarme a mi, ya que los niños disfrutan muchísimo en esos ratos. Y más después de esta situación que nos ha tocado vivir con el confinamientol.