仮想環境自体の実装によるんじゃないかと
仮にVBに対してLinuxの方が最適化されてるのであれば
Linux上でVB使ってWindows使う方がその逆より重い事になる
どちらがどの程度の使用頻度かによって見方は変わるだろうけど
（仮に半々とした場合）