それってArmbianじゃないかな？
実は自分も同じ症状です。
スイッチはハード的に生きているしRaspbianだと問題なく動作するのにArmbianだとダメで、電源コネクタを直接抜き差ししている現状です…。

海外のフォーラムでも同じ症状の人がいるようだけど、さほど多くはないようなんだよね。
解決法のヒントでもあれば自分も教えてほしいです…。