Conectar dos ordenadores wifi+ethernet

Hola,
En primer lugar decirte que no tengo ni idea de redes, por eso te pido ayuda.
Tengo Jazztel 20 Mb (aunque capadas a 6) + Jazztelia y dos ordenadores. Los ordenadores están uno al lado del otro en el mismo cuarto y la televisión (y por lo tanto el router) están en otra habitación.
Instalé el ordenador principal con la llave usb inalámbrica que proporciona Jazztel, y compré otra llave para el otro pc, así que tengo los dos ordenadores con conexión inalámbrica.
Internet me funciona bien en ambos, pero el traspaso de ficheros de uno a otro es lentísimo, no me convence nada, antes de tener la televisión los tenía conectados a los dos mediante cable con un router de 4 puestos y la transmisión era mucho más ágil, así que me gustaría conectar ambos ordenadores mediante cable, pero no se si eso es posible.
En resumen, lo que quiero llegar a tener es el router conectado al receptor de televisión unicamente, uno de los ordenadores conectado al router de forma inalámbrica y el otro ordenador conectado mediante cable al primero, y claro, tener internet en ambos ordenadores.
¿Es esto posible?, ¿Cómo puedo hacerlo? ¿Bastaría con conectarlos mediante un cable cruzado? ¿Cómo configurarlo?
Por favor, si puedes ayudarme te lo agradecería, pero explícamelo como para tontos, que de redes se muy poquito.
Muchas gracias.