彼が言う「離れたい苦手な人」も女性ですか?ならば、彼女とも、ふたりでご飯行ってて、辛いとき愚痴言って電話したりしてた関係だと思います。私がそうでした。
彼は、あなたにしたのと同じことを彼女にもしていて、彼女も「一番仲のいい友達になったら付き合えるのかな」と思いながら関係を続け、どこかで続けることを辞めたはず。同じことを人を変えて繰り返すので、彼の友達とかにパターンを聞いてみては?