あくまで俺個人の考えですが、大きく別けると

一般社会とも繋がりがあり、
「言い訳」もちゃんとできる奴が持つマニアックな趣味→サブカル

一般社会から孤立し、
「言い訳」も物凄いﾍﾀｸｿな奴の持つマニアックな趣味→ヲタ

な感じ。ほんとはその趣味自体はあまり関係ないと思う。
今でこそ軍事、鉄道、アニメ、あたりなんかは即後者に思われますが
これらの趣味を持ってる奴等自身が後者のタイプなために
趣味自体まで悪いイメージが直結してるのではないかと。

腹痛くなってきたからうんこしてくるわ