基本的にカーネルのアップデートがなければ再起動かけないけどそんなに時間かかったことないなあ
自分で起こしたプロセスはちゃんと落としてから再起動かけているならシステムの問題だとは思うけどね
起こっていそうなことはext4のジャーナル関係の何か？かも、でもただの想像なので全くの的外れかも

軽く検索した範囲で気になったのは以下の２点かな
1.　もしかするとxfce4-session-logout --haltとxfce4-session-logout --fastとで終了速度に違いがあるかもしれない
2.　Xubuntuをx86からx64に移行したときに別パーテだった/homeをそのまま使いまわしていると問題があるかも