俺の場合、「恐れ入りますが、聴覚に障害があるので、ゆっくり話して頂けますか。」と言う。
「難聴。」ではなく、いちいち「聴覚に障害がある。」と伝えるのがポイントかな。
この言い方で大概相手の態度が優しくなる。