多くのディストリがディストリのパッケージとしてPythonモジュールをインストールして、それらは/usr/lib/python3.9/site-packagesだかに置かれますよね？
で、これは
# pip install
と同じ場所です

こういう競合ってみなさんどうされてますか？
# pip install
は使わないことにして、ディストリが必要とするものはディストリに任せて、自分の数値計算等に必要なものは$HOME以下に
$ pip install
するというのが一つの手段でしょうか？