Linuxのスレッドスイッチってタスクスイッチと同じことをやっていてメモリーマッピングを一新してしまうからキャッシュを全てフラッシュしているんじゃなかろうか？
求めるところは昔のZ80なんかで割り込みからのタスク切り替えをやるような感じでスイッチするカーネル部分も含めてマップそのままで切り替えてほしいところ