Buenos días.
Diría que no es un problema que únicamente te afecte a tí. Yo he tenido hasta hace 1 semana internet radio y me pasaba lo mismo. En cuanto te descuidabas cambiaba a 3G, aunque la cobertura de 4G fuese excelente. Y conozco más casos, he tenido familiares y amigos con el mismo problema. Como bien comentas, reiniciando el router vuelve a utilizar la red 4G.
Una posible solución sería dejar el router en modo 4G únicamente. De esta manera siempre se conectará a través de esta tecnología. La desventaja que tiene es que en este modo el teléfono fijo no funcionará puesto que cuando recibes o emites una llamada, este cambia a 3G. Siempre es posible volver a cambiar la configuración. Si no utilizas el fijo, creo que sería la mejor opción.
Un saludo.