Buenas Jhonnr08
Lo primero ante cualquier problema potencial de latencia, son datos que podamos ver y medir!! La latencia es la acumulación del tiempo de ida y vuelta de tus paquetes desde que salen de tu equipo, pasan por tu red, por la red de Movistar, por redes de terceros, por la red final hasta llegar al destino... y ahora vuelta. Eso implica que cualquier problema de latencia puede estar en 1000 lugares diferentes... o en ninguno.
Lo primero, es usar alguna herramienta tipo WinMTR, y lo lances contra el servidor que creas que tienes problemas. Envía unos 200-400 paquetes, detienes, copias/pegas aquí el resultado, podemos analizarlo sin mayor problema.
Por otro lado, y totalmente independiente de ello, el BufferBloat es un problema totalmente diferente. El BufferBloat es lo que sucede cuando saturas tu línea y aun así quieres medir la latencia cuando estás saturando. Este valor es normal que sea elevado, a menos que uses algún tipo de sistema QoS, o simplemente limites un 5-10% la velocidad de subida/descarga, especialmente la de subida, para que al menos los paquetes de control puedan tener ancho de banda suficiente y no se dispare el bufferbloat.
Saludos.