Problema de latencia en red de área local

Tengo 14 computadores conectados a la red.

10 Computadores conectados a un switch y 4 conectados directamente al modem.

El problema es que al estar todos jugando en línea el mismo juego y servidor. Se presentan diferentes latencias.

Hay 5 - 6 computadores con la latencia normal de 54. Y en los otros equipos queda la latencia inestable. Desde 80 a 190 .

Si se apagan algunos computadores la latencia se arregla en los que fallaba antes.

La conexión es de fibra óptica. 30 megas de descarga . 16 megas de subida. Ping 10 son los resultados que da el speedtest.

He llamado muchas veces a mi ISP y me dicen que todo esta bien.

Y al ver que la latencia esta bien en algunos computadores y otros no.

Empiezo a creer que el problema esta en la red pero no se que seria.