どういう使い方をしたいの？
最新のルータだと、申し込んだ後でもPPPoE（IPv4）だけでも利用できるし、
PPPoE（IPv4）＋IPoE（IPv6）としても利用できるし、
IPoE（ipv6+ipv4 over ipv6）でも利用できるよ

完全にルータで分けたいのかな？そうしたらどうすればいいんだろう。
ルータAはipv4専用、ルータBはipv6専用というようにしたいのだろうか

そうなるとルータAでpppoe（ipv4）接続してipv6はブリッジ設定
ただしipv6とipv4のフィルタリングで特定のアドレス（ルータBのアドレス）にしかipv6の通信が流れないようにして、
ルータBではip4の通信をしないようにしてipv6の通信だけ流すようにするしかないんじゃね？