Copropietario vivienda deja de pagar

Hola. Soy propietario de una vivienda hipotecada sólo a mi nombre. Es decir, propietario y titular de préstamo hipotecario solo yo. Desde que compré la vivienda, hemos estado pagando la hipoteca a partes iguales entre yo y mi hermano ya que aunque todo fuese a mi nombre, acordamos verbalmente que sería para los dos, por lo que pagaríamos los dos. Solo firmamos un contrato privado en el que nos comprometiamos a no vender el piso en los primeros años.

El caso es que quiere dejar de pagarme la mitad de la hipoteca y reclamarme lo que ha pagado anteriormente. ¿ Qué puede hacer?