Qué Derechos tiene propietario y usufructuario

Tenemos un dilema familiar.Mis padres divorciados tienen 50% del piso en el que usufructuario es mi hermano.La relación no es amistosa y mi madre insite en entrar en el piso si o sí.Que derechos tiene uno y otro?Por intimidad mi hermano no desea que entre o tenga llaves de esta.Que puede ezigir uno y otro?