Dos routers en una misma linea

Tengo dos ordenadores, uno en la parte baja (donde está el router) y otro en la parte alta donde esta el otro ordenador y una conexión de RJ11 (teléfono).
La casa es muy vieja por lo que si meto un cable mas por los macarrones la puedo liar.
Podría configurar dos router de telefónica y utilizar la misma puerta de enlace en los dos para que funcionen al mismo tiempo como si fueran uno?? O la puerta de enlace no tiene nada que ver para eso?? (Eso lo he leído en internet, lo de la puerta de enlace)
Me urge!! Muchas gracias de antemano.