Régimen de visitas

Hola mi problema es que me encuentro viviendo lejos de la ciudad donde residen mis hijos
tengo un finde semana si y uno no y 15 y 15 días en verano.
Hasta hace poco iba 5 días al mes que los juntaba y las vacaciones cuando podía
las relaciones con mi ex se han deteriorado. Y me exige cumplir el convenio si no dice que no veré a mis hijos yo por la lejanía y trabajo no puedo.
¿Estoy obligado a ir un finde si y uno no? ¿Qué pasa si voy los 5 días y no me deja verlos?
Que puedo hacer
Muchas gracias.