一概には言えないと思います。
背が低いと言うだけで、区別するのもどうかと思います。

高けりゃいいってもんじゃないし。
小柄でも素敵な男性はいますし、
背が低く見た目悪くてもろくでもない男が蔵前駅にはいます。