Conexión de red casera

Como estas!, lo que tu quieres hacer es compartir una conexión de internet ADSL para otro pc. Para esto no tiene necesidad de utilizar el router, ya que los router o hubs te utilizan para cuando queremos conectar más de 2 computadores, para conectar 2, tan solo necesitas 2 tarjetas de red, y el cable UTP que mencionaste. Si utilizas el router para conectar 2 equipos no más, estarías desperdicionado recursos del sistema en los dos equipos y te aseguro que tendrás una conexión más inestable, mi recomendación por estabilidad y velocidad para conectar solo 2 computadores como quieres tu, es por medio de la tarjeta de red, en cada equipo y el cable UTP. Tienes que tener tarjeta de red en los dos equipos, y preferiblemente que las dos sea 10/100, con un cable UTP también de 100mbps. Con un buen cable UTP, no importará la distancia que allá entre el primero y el segundo piso.
9.1) Haga clic en Inicio, selecciones Configuración, haga clic en Panel de Control y haga doble clic en Agregar o quitar programas.
Para ponerlos en red, luego de tener las dos tarjetas de red bien configuradas y conectadas mediante el cable UTP, haces lo siguiente:
1) Entra al panel de control a la opción agregar y quitar programas.
2) Hacer clic en la ficha Instalación de Windows.
3) Haz doble clic en Herramientas de Internet.
4) Activar Compartir conexión a Internet.
5) Has clic en Aceptar.
6) Sigue las instrucciones del asistente que aparecerán en pantalla. Es muy fácil e intuitivo así que no creo que tengas problemas con este.
Te recuerdo que el modem ADSLdebe estar obviamente bien instalado y en funcionamiento, me imagino que lo conectas vía USB, así que no modifiques nada de este.
Bien, realiza estas cosas que te dije y me cuentas como te va, estaré muy pendiente al proceso de la instalación de tu red, por cualquier pregunta que tengas, solo hazla y la responderé lo más pronto que pueda! Te deseo suerte!

Que más viejo la verdad es que yo he puesto a funcionar varias maquinas con el router conectado a un concentrador y de allí a los equipos con cableado utp.
El problema es que win98 no trabaja con conexión compartida se requiere un programa para que donde este instalado le asigne los dhcp a las maquinas o instale un equipo con win xp que este los pone a compartir y ya.

El tipo de cable que usas desde los computadores al switch y desde el router al modem puede ser cruzado o directo, ya que los switch actuales tienen detección automática de configuración del cable. Si conectas los computadores al switch y del switch al router no vas a tener problemas para compartir internet.
Existe si un pequeño detalle, necesito saber si usas algún programa para entrar a internet, si es así necesitarías el password del router para configurarlo en multimodo (modo en que el router hace de servidor a los 2 computadores clientes). Una vez en multimodo no necesitas que un computador haga de proxy.
Si por el contrario desde que prendes el pc estas conectado a internet y no necesitas un software para conectarte significa que tu router ya esta en multimodo y lo único que tienes que hacer es conectar como te dije los pcs, el switch y el router y en la configuración de red de cada uno de los pcs cambiar la propiedad "puerta de enlace", en donde tendrás que poner la dirección ip local del router, que casi siempre es 192.168.1.1.
Si tienes problemas avisas.. chaoz. Kip289

En teoría tendrías que hacer un cable cruzado entre el router y el modem ADSL. Y configurar esa entrada del router con la dirección IP que te da tu ISP. Y poner esta interfaz como predeterminada. Así las demás interfaces saldrían a internet desde ella. Respecto al router que tienes, no lo he configurado nunca pero de seguro tendrás que leer el manual.