…って思ってたら自己解決
「別れる時はAボタンです」通りにその場で別れてから
一歩先に進んで仲間に入れ直したら通過できちゃったw

これ作者さん的には想定内なのかなぁ
騎士の〜乙女のくじ引きでも仲間と別れるで6回引けるって話があったけど
このシステムは制作側の盲点になりがちな気がする