憶測ですが、お持ちの共感覚の「文字の形状に色が見える」というのは
「文字の形状の情報」を脳の「色覚情報」を司る部分でも処理しているため
この文字にはこの色が見える、という明確な対応関連が生まれるものと推測できます

それを踏まえた想像ですが、ならば他の違和感に関しても
実は何かそれぞれに対応するキーとなるべきものがあるのではないでしょうか
特定の形状、看板の文字列、あるいは視覚情報ではなく音やにおいかもしれません
そういった、これにはこの現象が対応して現れる、というのを突き止めることができたなら
反応を消すには至らなくても、冷静な対処、もしくは気にせず無視はできるようになるかと思います

憶測に憶測を重ねた思いつきで申し訳ないのですが、何かのご参考にでもなれば幸いです