Puedo prohibir que el usufructo ceda sus derechos a un tercero

Puedo prohibir al usufructo ceder sus derechos a un tercero? Soy nuda propietaria pero mi hermano quiere quedarse con la casa donde mi madre funge como usufructo vitalicio.