＞男がわざわざ女性専用車両に乗ってるということは障害者かなと考えるのが妥当であり

それは障害者側からの視点だと思う。
健常者からすればわざわざ女性専用車両に乗ってくる男性は何らかの意図があるか
誤って乗ってきたか、だと思うのが普通。
見た目に不具がなければ障害者なんて言葉すら思い浮かばないもんじゃないかな。