Cambio de convenio de divorcio

Hola, estoy divorciado desde hace dos años. Tengo dos hijas de 7 y 3 años. Al firmar el convenio la pequeña tenia 1 y la madre y yo decidimos que la pequeña no se quedaría conmigo hasta que tuviera 4 años. A mi hija mayor la recojo fines de semas alternos y la mitad de sus vacaciones y en estas vacaciones a la pequeña solo 4 horas diarias, no haciendo ni comidas ni noches conmigo. Ahora estoy arrepentido de lo que firmé, porque mi pequeña cada vez que la recojo siempre se quiere quedar más tiempo conmigo y con su hermanita y no quiero esperar a que tenga los 4 años. ¿Puedo modificar el convenio? ¿Qué tiempo llevaría esto?. He hablado con la madre varias veces del tema y me dice que me riga según el convenio que firmé, pero la verdad, se me está haciendo eterno que mi pequeña cumpla los 4 años.