メモリ4GBでデスクトップはどうなのかな?
手元の環境にx11サーバ入れた方がいいんじゃないの?
相手Windows以外でリモートデスクトップなんて使ったことない
web系ならポートフォワーディングで済むからx11もいらないし