Incumplimiento de régimen de visitas.

Hola,
Mantengo una relación sentimental con una mujer divorciada con 3 hijos de 5, 7 y 12 años respectivamente. Ella tiene la custodia de sus hijos, y firmó con su ex-marido un acuerdo por el cual, fines de semanas alternos, Martes y Jueves una hora, y el 50% de las vacaciones, se haría cargo él de sus hijos.
El problema es que en las vacaciones de verano, él se negó a cumplir la parte del acuerdo que le obligaba a quedarse con sus hijos el 50% de las mismas, alegando que trabaja y que no puede quedarse con ellos. La madre también trabaja.
Ahora, se acercan las Navidades, y ya le ha dicho a su madre que no va a quedarse con los niños los días que le corresponden, sólo el día de Nochebuena, el fin de semana que le toca, y la mitad del día de Reyes.
¿Hay algo que pueda hacerse legalmente para que cumpla sus obligaciones de custodia cuando le corresponde, y no se quede con sus hijos sólo cuando le conviene? Puesto que se niega a cumplir sus obligaciones, ¿puede negarse su madre a que los vea ese fin de semana de Navidades que le corresponde y/o la mitad del día de Reyes, así como el Martes y Jueves de las semanas que abarca el periodo vacacional?
Saludos y gracias.