むしろ大昔は武士しかやってなかったんじゃね
保元物語にも石を持ち上げて鍛える話は出てくるよね

中国や朝鮮の武科挙でも力石は行われていたので
大陸と交流があった時代に伝わった風習じゃない