¿Me puede negar la baja médica?

He estado de baja y el alta la ha tramitado el inspector. Ahora los médicos de urgencias me han recomendado reposo y mi trabajo es físico. Mi médico de cabecera me quiere dar la baja pero el sistema no se lo permite debido a que el alta me la dio el inspector. ¿Se me puede negar la baja a pesar de ser por otro motivo y tener un informe médico favorable?