経験しなければ、相手に共感する気持ちが湧かないということはそんなにおかしい事かな。

狭い道で停まっている車に「邪魔だな」って思ったことはないのかな。
公共の場で泣いている赤ん坊に対して、「うるさいな」と思ったことが一度も無いのかな。

少なくとも自分はバイトしたり姪っ子の子守りを経験する前は、「邪魔」と思っていたし、機嫌の悪い時は「うるさいな」って思ってしまうこともあったよ。