労働時間外なら強制は違法

労働者が会社に従わなければならないのは、勤務時間の間だけという原則があります。
あくまでも労働契約として働いているわけですから、指示・命令が出来るのは契約時間内だけというわけです。

従って、土日や休業日など本来休日であるはずの時間に行なわれる会社の行事は自由参加という事になり、労働者には参加の義務がありません。

ただし、社員研修を兼ねた旅行など、業務内に行われているものであれば、当然参加の義務がある事になります。

付き合いが悪い！と言われたら・・・

会社によっては行事に参加しないと
「協調性が無い」などと不当な評価をされる場合があります。

本来、仕事とプライベートは分けて考えるべきですが、実際問題としてこういった頭の古い経営者・管理職も存在するのは事実です。

会社がこういった事を理由に労働者に対して不当な扱いをしたとしても、被害にあった労働者がそれを証明するのは困難（詳しくは『不当処分の恐ろしさ』の項目を参照）なので注意が必要です。

古い体質の会社で行事への参加を断る場合の上手な理由を考えてみましょう。
この際、ウソも方便です（笑）
多少姑息な感じはありますが、理解の無い人間と付き合っていくには仕方ないと割り切って考えるのも１つの手です。