皆さん返信ありがとうございます！
メモリは使用率を常時見ていて、それほど高くない時にも症状は起きていました。
swapは1GB作っていて、カーネルは5.17を使っています。(5.16と比べてレスポンスが良くなったので)
キャッシュもyay -Scで定期的に消してはいますが、改めて消してみます。
gnomeをちょっと使ってみた時には症状は出なかったと思います。(個人的に使いにくくてそんなに長くは使ってなかったのですが...)
git cloneとかも以外とどこかに負担かかってるんですね。
先程grubの設定にamdgpu.noretry=0として再起動かけてみてからは症状が起きてないみたいですので、しばらく様子見てみようと思います。
これ以前にもコンポジタをオンにしているとよくフリーズしたりしたので(おそらく今回とは別原因のフリーズです)、KDE使う上でKDEあるあるとは付き合っていかなければいけないみたいですね...
でもKDE好きなので、なんとかやっていきたいです！