TeraTermの相談したやつだけど根本原因分かった。
イーサネットの設定間違い。
家からネットに出るルーターにWindowsとCentOSのマシンからイーサネットケーブルが刺さってるんだけど、ルーターが対応出来ないサイズのジャンボフレームを設定していたためにパケットがロストしてた。
んでWindowsとインターネット間、CentOSとインターネット間の通信はMTUがインターネット側に合わせて小さくなるから正常。
WindowsとCentOS間のssh通信も1文字タイプする毎にパケットが飛んで大きなフレームが送受信出来なくても実害ないからログインまでは正常。
何かの拍子に大きなパケットが飛ぶと途端にパケットロスというのが原因。
sambaとWindowsの通信が極端に遅いことからネットワーク疑って原因発覚した