Conexión con cable Modem

Buenas a todos: Tengo conexión de banda ancha por cable modem, y quisiera compartir esta conexión en 2 ó 3 Pc. Lo hice a través de un switch, pero necesitaba tener el Pc servidor encendido para poder navegar con el otro.
Me han dicho que con un router podría hacerlo si necesidad de mantener encandido el otro Pc. Dispongo de un router Zyxel Prestige 643, con un conector RJ11 (ADSL), un puerto para consola y 4 conexiones RJ45 (Lan 10/100).
Me serviría este para lo que pretendo y como conseguir hacer dicha instalación, teniendo en cuenta que soy bastante inexperto en estas lides.
Gracias de antemano