Buenas penguin_
La latencia es algo totalmente variable. Obviamente existe siempre latencia entre tu equipo y el Router, es el primer salto, y a menos que estés usando WIFI, debería de ser en esencia 0, o prácticamente cero.
Todo esto es facil de diagnosticar, lanza winmtr unos 200 paquetes a cualquier destino que quieras, por ejemplo al servidor del juego, y vemos que pasa, pero ya te digo que el cambio de Router no afecta en nada en ello, a menos que tu conexión fuese por WIFI, y al poner el otro un cambio de canal haya provocado mayores interferencias y por ende mayor latencia