Avalista de mi cuñado, si me divorcio, como hago para dejar de ser avalista suyo

Somos avalistas, mi marido y yo, del préstamo hipotecario de mi cuñado. Avalamos con el piso en el que vivimos y como soy funcionaria, supongo que también con mi nómina. En caso de divorcio, si mi cuñado deja de pagar, ¿respondería yo con mi nómina y piso? ¿Hay alguna manera de cambiar esta situación? ¿Qué responda mi marido sólo de los problemas de su hermano? Me temo que es el as que tiene en la manga, dejar de pagar...