UbuntuにXfce入れるのと、Ubuntuにapt install xfce-desktopするのと、最初からXubuntu入れるのとで違う
デスクトップ周りの初期設定、設定ファイルの内容が違ってたり、プリンターが使いやすかったり等々

debianからなら、最初にXubuntu入れて自分の使うパッケージ入れてくのが無駄がなくて良いと思う