Divorcio mutuo acuerdo y el vive en la casa

Hola mi problema es el siguiente: hace 2 años que estoy divorciada de mutuo acuerdo en régimen de gananciales, teníamos una vivienda en común al 50% y como la situación era insostenible en casa, me plantee irme a un piso de mi familia y que el se quedara allí mientras se vendía la vivienda ya que el no tenia donde ir y yo si. El acuerdo fue verbal(yo me iba pero el no metía a nadie en casa)y como no... Pues no esta siendo así! Cada vez que aparezco por mi casa hay alguna liada(novias... Familia... Y fiestones)lo más triste es que según un abogado no le puedo decir nada, ya que tanto el como yo podemos hacerlo(imaginate eso puede eser una batalla campal)estoy mirando como solucionarlo pero no se hasta que punto el se puede negar a aceptar mis condiciones como por ejemplo un alquiler, o el uso y disfrute compartido (aunque solo por no ir a quitar su mierda) no me interesaría el uso compartido. ¿Qué puedo hacer? ¿Tengo alguna otra alternativa? Estoy desesperada... Un saludo y gracias