для настроек клавиатуры есть /etc/X11/xorg.conf.d/95-input-keyboard.conf

(II) config/udev: removing device Dell Dell USB Keyboard
(II) Dell Dell USB Keyboard: Close
(II) UnloadModule: "evdev"
(II) config/udev: Adding input device Dell Dell USB Keyboard (/dev/input/event0)
(**) Dell Dell USB Keyboard: Applying InputClass "evdev keyboard catchall"
(**) Dell Dell USB Keyboard: Applying InputClass "keyboard"
(**) Dell Dell USB Keyboard: always reports core events
(**) Dell Dell USB Keyboard: Device: "/dev/input/event0"
(--) Dell Dell USB Keyboard: Found keys
(II) Dell Dell USB Keyboard: Configuring as keyboard
(II) XINPUT: Adding extended input device "Dell Dell USB Keyboard" (type: KEYBOARD)
(**) Option "xkb_rules" "evdev"
(**) Option "xkb_model" "evdev"
(**) Option "xkb_layout" "us,ru"
(**) Option "xkb_options" "grp:caps_toggle,grp:switch"

Отредактировал так:
Section "InputClass"
        Identifier      "keyboard"
#       MatchIsKeyboard "true"
        MatchTag        "x11_keyboard"
        Driver  "evdev"
        Option  "XkbLayout"     "us,ru"
        Option  "XkbOptions"    "grp:alt_shift_toggle,grp:switch"
EndSection

Помогло, теперь при переключении KVM всё работает.

Но вот после загрузки машины стала доступна только us раскладка. Это так и должно быть?

См. тж. /etc/X11/xinit/Xkbmap -- у меня сейчас:
-model pc101 -option grp:caps_toggle -variant ,winkeys,winkeys -layout us,ua,ru

PS: эти же грабли недавно были обнаружены при вытыкании/втыкании обычной USB-клавиатуры.

(наткнулся) в одном из ответов указывают чего-то для gnome:
http://superuser.com/questions/249064/udev-rule-to-auto-load-keyboard-layout-when-usb-keyboard-plugged-in

(В ответ на комментарий №3)
> См. тж. /etc/X11/xinit/Xkbmap -- у меня сейчас:
> -model pc101 -option grp:caps_toggle -variant ,winkeys,winkeys -layout us,ua,ru
> 
> PS: эти же грабли недавно были обнаружены при вытыкании/втыкании обычной
> USB-клавиатуры.

У меня:
 -option grp:alt_shift_toggle -variant ,winkeys -layout us,ru -model pc104

Но не помогает.

(В ответ на комментарий №1)
> для настроек клавиатуры есть /etc/X11/xorg.conf.d/95-input-keyboard.conf
Таким образом, ~/.Xkbmap идёт лесом? А как же быть с индивидуальной для пользователя раскладкой клавиатуры?