>>問題の切り分け
1.サーバで他のサイトを見る時も時間がかかるか？
2.ローカルファイルの表示に時間はかかるか？

といったところ。
もしかして、サーバにNICが2枚刺していたりしない？