Mi señal de internet viene y se va en cada moento

Tengo 4 conexiones de ADSL de 1Mbps cada una, pero la conexión se me cae en cada momento y después de un tiempo vuelve, pero cuando vuelve viene muy baja.
Con estas 4 conexiones pensé aumentar mi velocidad de conexión a internet haciendo lo siguiente: tengo 12 PC´s y 4 modems-router cada uno con su conexión de ADSL, pero todos están conectados a un Switch, en sus configuraciones he dejado que solo pueden conectarse a un modem tres pc´s pero aun así la señal se va y viene, ahora he conectado un par de ordenadores directamente al Modem, ya que este me trae 4 puerto RJ45 aun así tampoco se mejora nada. A ver decirme si he hecho algo mal, ¿o es por que estoy a casi 5 km de la central ADSL y eso pueda que influya en la velocidad de mi conexión? Aunque cuando contrate esta linea hace un año atrás, todo funcionaba bien.