> もしかしてあの手の切替器って、Linux が絡むと…ダメ？

私の経験と勘ですが(一番頼りにならないTT)

ハードレベルにおいて、
そもそもPC/AT機のPS/2ポートはKBやマウスの活栓挿抜に対応していないことが多い
→BIOSが立ち上がった時点で未接続だとつながっていないものと判断される
→BIOSが立ち上がった時点で接続されていてもいったん抜けると復帰できない
→活栓挿抜が普通にできちゃうやつも結構ある。

私の感覚だと６:４ぐらいで活栓挿抜できるPCが多いですが、
我が家のPCはことごとくだめでした。

ソフトレベルでは
WindowsがPnPあたり？？の機能でキーボードの活栓挿抜をサポートするので問題なく動く
Linuxだと最近のカーネル(2.6以降？)じゃないとPS/2ポートの活栓挿抜を監視していないのかも。
(この辺は自信なし)

KVMの機能として
スイッチを切り離しても、
CPU(PC本体)に対してダミー？であたかもKBやマウスがつながっているかのように
振舞うタイプだと基本的に平気。
↓
この場合、スイッチを切り替えてKBなどが接続されている状態であっても
KBやマウスの信号をいったんKVMで受け、
改めて信号を作り直してCPU側に送り込むタイプのものだと
マウスのカウント数が正しく伝わらないなどの場合があるようで
挙動がおかしくなる場合がある。

一見電子的に切り替えているようなKVMであっても
CPU側から見た場合KBが切り離されているように見える場合は
いったん切り離されると当然復帰しない。

というふうに、

PCハードの対応＋PCソフト(OS)＋KVMの作りの組み合わせで
オールNGだとだめなんじゃないかと思います。

USB機器をLinuxで使うことについては
個人的にまだLinux側が成熟していないと思っているので
最低限KBとマウスはPS2を使うようにしています。