広辞苑にもしっかりと賭博は遊戯であると書かれてるね
ゴルフは競技なので賭博ではありません

と‐ばく【賭博】
金銭・品物を賭けて勝負を争う遊戯。かけごと。ばくち。博奕ばくえき。「―師」