Вне зависимости от настроек в /etc/X11/XF86Config-4 работает в режиме 640x480. Не реагирует на ^-M-g+/-. По приведённой ссылке в каталогах Compat и Master лежат файлы XF86Config* и XFree86.*.log
У меня именно эта версия (XFree86-4.3.0-alt13) работала на такой карте (ATI Radeon VE/7000 QY) без подобных проблем. Такое впечатление, что драйвер определяет, что к карте подключено два монитора. Подключено ли в действительности что-либо, кроме основного монитора? Исправляет ли ситуацию Option "CloneDisplay" "0" (или другие значения - см. man radeon)?
Исправлено в installer-2.9.9.8.iso (и соответственно в Compact 3.0)