¿Puede prevalecer un contrato privado entre padre-hijos frente al usufructo que tiene por viudedad?

Mi padre compró una casa en gananciales con mi madre, y ella murió. Somos dos hermanos, y tenemos el 50% de la nuda propiedad. Mi padre se ha juntado con una mujer, que, por circunstancias de mucho peso no queremos que vaya a vivir a esa casa. Viven alquilados en otra, y la familiar la usamos los hermanos como segunda residencia. Hemos invertido mucho, y ahora mi padre, por dinero, ha cambiado de opinión y ahora quiere volver a la casa con ella. Nosotros no queremos, y hemos tratado de buscar todas las soluciones posibles, porque la convivencia de todos allí es imposible. Habíamos pensado pagarle lo que le queda de hipoteca (para que no vaya por ahogos de dinero) o "comprarle" el usufructo con la condición de que ella no vaya a la casa, de modo que si él necesitase volver, pudiera hacerlo, pero con ella no. Ante notario.

La duda que tenemos es si ese pacto privado ante notario -cómo se haría???- "pesa" más que el usufructo, o si él podría pasar por encima y volver a la casa con esa mujer.

¿Se podría pactar?¿Y si incumpliese, habría que ir a juicio y qué pasaría...? No sé, ayudadnos, por favor, estamos muy angustiados.

Muchas gracias.