ヤクザにアンニュイ感やダウナー感のイメージを抱いていたっていうのもあるけど、
癇癪持ちのヤクザが、覚醒剤（薬物）性の統合失調症か何かになって、その状態で死んで、アンニュイ感・ダウナー感を身にまとった不成仏霊にでもなったのを、霊が見れてた幼少期に街中で見かけたり、
あるいは、統合失調症のヤクザが暴れる動画をインターネットで見たときに、中学生ぐらいの頃まではまだ霊感が強かったから、アンニュイ感・ダウナー感のオーラを感じ取ったのかもしれない。

あとは、アニメの影響も考えられる。アニメには、作品にもよるが、俳優みたいな個性や渋さのある白人の兵士が描かれている作品ももちろんあるのだが、
無個性・没個性的で黒いサングラスをしたアンニュイ感・ダウナー感のあるヤクザなアメリカ兵が描かれてる（ちょっと人種差別的な）アニメ作品も中にはある。