debian/ubuntu系しか使ったことがないので「汚い」がどういう状態を指しているのかがわからないけど
fontconfigの設定やFREETYPE_PROPERTIESをdebianから持ってくればいいだけじゃね

・cffのレンダラとしてadobeのエンジンが選ばれている
・サブピクセルレンダリングが有効になっている、RGB並びがディスプレイと一致している
・ヒント設定はhintslightは使わずmediumかfullにする、autohintは切る
・IPA/Takaoは付けられているヒントが16px特化で他のサイズだと大きく崩れるので回避
確認事項としてはこんなもんかな