仕様です。Bufferbloatと思われるので。
市販のルーターファームでは改善難しいです。
根本解決のため、LEDE(OpenWrt)でSQM使って対処したらかなり状況改善しました。