まず「フレッツでIPv6でVPNしてる」の？
もしそうならば特定の端末やアプリケーションがパケットに色付ける事で網側で落とされる事もあるかな、と思った。
https://ch.nicovideo.jp/tsutsui/blomaga/ar1652866