日本の裁判システムと判例について教えてください

こういう判例があるからこうだ、みたいな話をよく聞きますが、
最高裁とは言え、たかが1人の裁判官の考えがそのまま法律かのように扱われることに違和感があります。
その後の判決との平等性のために先例が重視される理屈はわかりますが、「最初の1人の判断」が重すぎませんか？

英米などのコモンローは初期の頃に色んな判決が出たりもしたんでしょうが、積み重ねがなくなった今(日本では)一歩目が重大すぎる気がします。