「停車事に一歩程前に出てチャージや両側の邪魔にならないように配慮してんのに、まさか運転手から服を引っ張られて」
もし運賃箱の横まで出たら、運転手は左側の確認し辛いし、運転の邪魔になってると思う
運転手が、わざわざ後ろに手を伸ばしてまで服を引っ張ることはしないと思う 

最後に、邪魔にならないように配慮=降車客等に邪魔な立ち位置と認識しての行為、
カリカリせんと、これから気をつければええんちゃうん
別に運転手の肩を持つ訳じゃないけど、あなたが他の乗客からどう見られていたかも考えてみたらどうですか