Modem bloqueado

Lo que te pasa es normal y no es problema de módem ni de sistema operativo. Si lo usas en Windows funciona porque el sistema ya tiene cargados los drivers del módem y lo reconoce sin problemas. Si arrancas en MS-DOS también funciona porque en el AUTOEXEC.BAT y/o en el CONFIG.SYS tendrás alguna línea para cargar los controladores MS-DOS del módem.
El problema viene cuando abres una ventana de DOS y el módem no es reconocido porque no estás en windows (es una sesión DOS) ni en MS-DOS puro. Para hacerlo funcionar supongo que tendrás un acceso directo en el escritorio para ese programa de comunicaciones en MS-DOS. Te lo puedo explicar por encima porque no tengo a mano un Windows 98 y no recuerdo exactamente en dónde está, pero si pinchas con el botón derecho sobre el acceso directo de ese programa DOS y seleccionas propiedades, en la pestaña (estoy hablando de memoria) varios tienes una opción que es modificar el autoexec.bat y el config.sys para ese acceso directo. Ahí tienes que poner las líneas en donde se cargan los controladores de MS-DOS para el módem y esas líneas las puedes coger del autoexec.bat y config.sys que tienes en C:\