格闘家の場合は元チンピラや喧嘩っ早い人上がりのイメージが強いからじゃない?
その手の暴力は身近すぎるから尊敬を集めにくいのかも

武器使うような武術家はあんまり現実的・身近な武術じゃないだけにその辺のイメージが弱いのもありそう
チンピラや喧嘩屋とかが武術やるイメージって少ないし……昔の任侠ヤクザくらい?