Buenas 1en4zcX
Si el problema fuese el Router, te iría mal fuese cual fuese el servidor al que te conectases, el Router es agnóstico al destino, software y otros que uses, sobre todo si estamos hablando de protocolos como los que hace uso WireGuard, que no son protocolos del medievo y que sí podrían causar importantes problemas, como PPTP/IPSec/L2TP. WireGuard no tiene ninguno de esos problemas, los Router tampoco.
Por otro lado también tenemos que la velocidad de descarga es correcta también, con lo que de nuevo motivo de sobra para pensar que no es el Router, la conexión es la misma tanto en carga como en descarga desde el punto de vista del Router.
Dejando eso a un lado, yo personalmente descarto totalmente que sea el Router.
-------------
¿Opciones que quedan?
Bueno pues la verdad es que hay muchas, pero no son sencillas de diagnosticar, precisamente por la propia naturaleza de un túnel.
El MTU juega un papel muy importante, siempre puede afectar de forma seria. Tú puedes controlar tu extremo, pero no puedes controlar el otro extremo. Y esto es importante, sobre todo cuando el MTU en la conexión PPPoE no es de 1500, sino de 1492. Esto provoca que la mayoría de problemas de VPN sea debido a que los servidores no tienen esto en cuenta, y dan por sentado que el MTU es de 1500.
Configurar el MTU en el cliente/servidor es importante, igualmente para curarse en salud modificar el propio MTU de tu equipo. 1420 es el MTU por defecto de WireGuard pero asumiendo un MTU de 1500 de la conexión. Ten eso en cuenta.
Dado que algunos servidores funcionan mejor que otros por lo que nos cuentas, puede ser por ende un problema de configuración en algunos servidores. De nuevo, para el Router da igual que sea un servidor en Madrid que en China, el tráfico lo trata exactamente igual.
Eso nos lleva a la otra causa más probable, el servidor escogido. No importa si con otro ISP va mejor o peor en un momento dado, dado que todos los saltos que dan los paquetes hasta llegar al servidor, son diferentes. Una vez que se llega al servidor VPN lo normal (que podrían tratarlo de forma diferente también, es un servicio privado) es que estos traten el tráfico igual ya sea el origen de un ISP o de otro, pero por las redes que pasan los datos hasta llegar al servidor VPN, así como el Peer que tenga el servidor, pueden ser totalmente diferentes.
-------------------------------
Que algún servidor funcione bien, descarta que pueda ser el Router, eso nos deja o una configuración del propio servidor, o un problema del propio servidor, o problemas en algún punto de la ruta entre tu casa y el servidor de ellos al que te conectas.
Por ponerte un ejemplo he mirado los diferentes servidores franceses que tienen con WireGuard, para francia la latencia inducida por redes intermedias se va a unos 30-40ms, 10 para España. Eso no es indicativo de velocidad directa ojo, pero ya te está diciendo que antes de empezar vas ya con 30-40ms.
Por otro lado si realizas diferentes trazas a los diferentes servidores, tanto franceses como españoles, tienes resultados muy variopintos, saltando por Level3, por Twelve, por... eso es bueno realmente, porque haciendo un poco de investigación por tu lado podrías ir mas o menos viendo si es un problema de rutas/nodos en función de por donde van pasando escogiendo un servidor u otro.