それはやり方が古い。
numpy と scipy は its-pointless の repository にビルド済みが登録されてるので、apt でいれる
そうすれば pandas は pip で入って動かせるよ