IPv4 over IPv6 でVPNを実現する方法として、別途IPv4 PPPoE接続を用意して、
VPNはIPv4 PPPoEで行うといった方法がよくネットで紹介されていますが、これとは別の手法を紹介します。

○手法の準備
・自宅ネットワーク(VPN接続される側)は、IPv6で外部(インターネット)と通信できること(IPv4 PPPoE接続は不要)
 当方は、DS-Lite(transix)とNURO光でこの手法でVPNを実現できてます。
 当方は、v6プラス環境での検証は行っておりませんが、IPv6で外部(インターネット)と通信させる手法なのでv6プラス環境もこの手法を使用可能である可能性が高いと考えます。

・IPv6のL2TPv3 over IPsecでVPSと通信しますが、自宅ルーターのIPv6ファイアーウォールで通す必要のあるプロトコル等は、以下となります。

 ESPプロトコル
 UDP 500番ポート

 なお、IPv4と異なりIPv6はNAT越えでないため、IPsec - NAT Traversal(NATトラバーサル)用設定の「UDP 4500番ポート」は不要です。

 現在、自宅インターネット環境は、NURO光でルーターは「HG8045Q」ですが、IPv6ファイアーウォールについてESPプロトコルに対応していないため、IPv6ファイアーウォールをOFFにしています。
  
・外部(インターネット)に、IPv6に対応したVPSを借りて、VPNソフト「SoftEther VPN Server」をインストール・設定すること
 VPSに入れるOSは、「SoftEther VPN Server」に対応してればよく、当方は、KAGOYAのVPSでLinux(CentOS 7.2)を使用しています。

・L2TPv3 over IPsecに対応したYAMAHAルーター
 当方は、YAMAHA RTX810を使用しています。

・「SoftEther VPN Server」とYAMAHAルーターをIPv6のL2TPv3 over IPsecで通信させる方法は、以下のサイトの「YAMAHA ルータにおける設定情報例 #4 (IPv6 で通信を行う場合 フレッツ網内折り返し通信対応)」が参考になりました。

YAMAHA RTX シリーズからの L2TPv3 を用いた VPN 接続方法 (IPv4, IPv6 対応)
https://ja.softether.org/4-docs/2-howto/Other_VPN_Appliance_Setup_Guide/9-yamaha-rtx-l2tpv3

○VPNの使い方
VPNで自宅ネットワークにアクセスするPC(VPNクライアント)は、Win10標準機能のL2TP/IPsec(L2TP over IPsec)を使用して、VPSに入れた「SoftEther VPN Server」にアクセス(IPv6 と IPv4 のどちらでもOK)します。

自宅ネットワークとVPSに入れた「SoftEther VPN Server」は、YAMAHAルーターでIPv6のL2TPv3 over IPsecにて常時接続されています。

このため、VPNクライアントは、「SoftEther VPN Server」とYAMAHAルーターを経由して自宅ネットワークにアクセスできます。