¿Cómo conecto un modem dsl en dos computadoras?

Hola, tengo un modem para adsl AZTECH600 EU, tiene una sola salida de ethernet y otra de usb, este me lo brindo mi proveedor de internet. Quisiera lograr tener una conexión de este a mis dos computadoras (una de escritorio y otra notebook), actualmente tengo una sola conectada por medio de ethernet.
He estado leyendo y por lo visto las opciones son o comprarme un cable cruzado para conectar ambas computadoras, o un switch para conectar ambas computadoras a este. ¿Es así? ¿Qué me hes recomendable?
Entiendo bastante de computadoras pero no de redes, je je
Muchas gracias!