Сложная задачка, на самом деле. Я не знаю надежных реализаций "для каждого приложения" и "для каждого окна", даже у xxkb есть проблемы. Возможно, это проблемы совместимости разных тулкитов.
Скажу жестко (это мое личное мнение, которое не буду продавливать): если не найдется решения (а это вероятно), то лучше отключить эти фичи.

(В ответ на комментарий №1)
> Сложная задачка, на самом деле. Я не знаю надежных реализаций "для каждого
> приложения" и "для каждого окна", даже у xxkb есть проблемы. Возможно, это
> проблемы совместимости разных тулкитов.

Оно работало раньше.

(В ответ на комментарий №2)
> (В ответ на комментарий №1)
> > Сложная задачка, на самом деле. Я не знаю надежных реализаций "для каждого
> > приложения" и "для каждого окна", даже у xxkb есть проблемы. Возможно, это
> > проблемы совместимости разных тулкитов.
> 
> Оно работало раньше.

Так как я почти участвовал в создании xxkb Иваном Паскалем, то могу точно сказать, что проблемы были всегда. Правда, проявлялись реже.

(В ответ на комментарий №3)

> Так как я почти участвовал в создании xxkb Иваном Паскалем, то могу точно
> сказать, что проблемы были всегда. Правда, проявлялись реже.
Давно работаю в XFCE. До этого был IceWM+Xxkb. Проблема проявлялась на столько редко, что я ее ни разу не словил. Не повезло.

В XFCE нормально работала переключалка версии 4.6.x ...
А с обновлением приплыла и проблема.

Если хватит IQ ее локализовать, сразу отчитаюсь.

xfce4-xkb-plugin сам рулит привязкой раскладки, используя libwnck. И я охотно верю, что в этом коде могут быть любые чудеса.
Отловить, не имея способа это гарантированно воспроизвести, сложно. Но я попробую.

(В ответ на комментарий №5)
> Отловить, не имея способа это гарантированно воспроизвести, сложно. Но я
> попробую.
Есть подозрение, что баг как-то связан с обновлением списка отслеживаемых окон.
Пример: 
Открыто одно окно (ФФ). Пишу письмо в Жмыле на русском. 
Всплывает окно чата PSI. По умолчанию там US. Переключаю раскладку, отвечаю.
Возвращаюсь в ФФ, раскладка слетела. Переключаюсь...
После этого прыгание между окнами не приводит к багу.

Мысли:
Было открыто одно окно, которое отслеживал переключатель.
Второе окно открывал не я, оно было открыто "изнутри" PSI.
Этому окну выставлялась раскладка US и оно добавлялось в список отслеживаемых.

В логах замечено множество записей вида:
CGRE[4549]: Cgroup change for PID: 7716, UID: 500, GID: 500, PROCNAME: ***
Среди *** обнаружился и переключатель, в т.ч.

После сноса cgroup-0.37.1-alt2 наблюдаю стабильную работу переключателя.

Не уверен, что "после того" равносильно "вследствие того".

Еще наблюдаю.

Просьба проверить с xfce4-xkb-plugin-0.5.4.3-alt4.git20130403.
Он сильно переписан.

(В ответ на комментарий №8)
> Просьба проверить с xfce4-xkb-plugin-0.5.4.3-alt4.git20130403.
> Он сильно переписан.

Давно не замечал ошибок в работе xfce4-xkb-plugin.
Новый установлен и пока работает нормально.

Вероятно можно закрывать.

Ок, будем считать что fixed пока не доказано обратное.