メモリスワップが頻繁に起これば体感的にも遅くなるのは明らかなんで、メモリが少なく、特にhddな環境なら、体感的にも32bitのほうが早く感じることは多いと思うよ