ALT Linux Bugzilla – #35069

Немного дополню, проверил также на следующих ядрах:

root@client-alt8:~# rpm -qa *kernel-image*
kernel-image-std-def-4.14.70-alt1.x86_64
kernel-image-un-def-4.18.8-alt1.x86_64

Одна из нод кластера:
root@pve-node1:~# ceph features
{
    "mon": {
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 3
        }
    },
    "osd": {
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 12
        }
    },
    "client": {
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 3
        }
    }
}
root@pve-node1:~# rbd create myblock --image-format 2 --size 6291456

Пытаемся подключить устройство на Альте:
root@client-alt8:~# modprobe rbd
root@client-alt8:~# echo '192.168.233.47:6789,192.168.233.48:6789,192.168.233.49:6789 name=admin,secret=...== rbd myblock' > /sys/bus/rbd/add_single_major
-bash: echo: ошибка записи: Нет такого устройства или адреса

Диагностических сообщений на CEPH ни в логе, ни в dmesg нет...
Решил подключить на одной из нод созданное устройство:
root@pve-node1:~# rbd map rbd/myblock
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the
kernel with "rbd feature disable myblock1 object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address

В dmesg в это время:
[12805.737053] libceph: mon1 192.168.233.48:6789 session established
[12805.739319] libceph: client658450 fsid 238f5402-528d-467f-9016-b1f29a9e497f
[12805.811381] rbd: image myblock: image uses unsupported features: 0x38

Собственно отключили эти фичи (отключал по отдельности - однако все равно понадобились все):
root@pve-node1:~# rbd feature disable myblock object-map fast-diff deep-flatten

Собственно после этого подключение прошло успешно:
root@client-alt8:~# echo ... > /sys/bus/rbd/add_single_major
root@client-alt8:~# l /dev/rbd0
brw-rw---- 1 root disk 251, 0 сен 20 18:00 /dev/rbd0

Но результат jewel на всех ядрах....:
root@pve-node1:~# ceph features
{
    "mon": {
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 3
        }
    },
    "osd": {
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 12
        }
    },
    "client": {
        "group": {
            "features": "0x7018fb86aa42ada",
            "release": "jewel",
            "num": 1
        },
        "group": {
            "features": "0x1ffddff8eea4fffb",
            "release": "luminous",
            "num": 4
        }
    }
}

Также есть сообщение с форума: https://forum.proxmox.com/threads/rbd-map-rbd-image-feature-set-mismatch.36070/
Судя по всему модуль rbd просто существенно отстает от librbd1.
Но все таки хочется получить ответ на вопрос - возможно ли обновить модуль rbd в ядрах?

Еще ни одно ядро не поддерживает этих features.
Эти параметры можно отключать динамически и индивидуально для нужного образа.
Так же рекомендую попробовать использовать rbd-nbd, возможно с ним заработают эти фичи.

(В ответ на комментарий №2)
> Еще ни одно ядро не поддерживает этих features.
> Эти параметры можно отключать динамически и индивидуально для нужного образа.
> Так же рекомендую попробовать использовать rbd-nbd, возможно с ним заработают
> эти фичи.

Дополнение от конечного пользователя:
>Наше программное обеспечение работает только через kernel rbd. 
>У нас есть CEPH luminous на котором мы включили функционал UPMAP
>(http://docs.ceph.com/docs/mimic/rados/operations/upmap/). Что будет
> происходить, если мы подключимся к нему через Alt - kernel rbd ?
> CEPH не сможет оптимально распределить PGs по OSD ???

Мне кажется что обновить rbd не должно быть проблемой.
Надо просто поставить эту задачу в очередь.

(В ответ на комментарий №4)
> Мне кажется что обновить rbd не должно быть проблемой.
> Надо просто поставить эту задачу в очередь.

Ещё раз объясните мне, что и откуда вы собрались обновлять?

Результат проверки актуальности

Состояние: жалоба была на rbd из ядра 4.9 (без object-map/fast-diff/deep-flatten). Эти фичи поддерживаются kernel rbd с 5.1–5.3, upmap — с 4.13; текущие ядра ALT — 6.x. Сам кластер Luminous 12.2 давно EOL — исходный сценарий проверить негде.

Рекомендация: закрыть как FIXED/WORKSFORME (поддержка появилась в новых ядрах).