Версия пакета, в которой обнаружена ошибка: ceph-19.2.7-alt1.x86_64 Стенд: тестовое окружение ALT Server (Sisyphus, x86_64). Шаги для воспроизведения: 1. Развернуть кластер Ceph 19.2.7 и создать файловую систему cephfs (пулы cephfs_data/cephfs_metadata, активный MDS). 2. Создать файл секрета администратора: # ceph auth get-key client.admin > /etc/ceph/admin.secret 3. Смонтировать cephfs драйвером ядра: # mount -t ceph <mon1>,<mon2>,<mon3>:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/admin.secret Ожидаемый результат: Файловая система cephfs успешно монтируется в /mnt/cephfs. Реальный результат: Монтирование завершается ошибкой: adding ceph secret key to kernel failed: Invalid argument couldn't append secret option: -22 В dmesg: libceph: secret too big 32 Дополнительная информация: Начиная с Ceph 19.2.7 по умолчанию генерируются 32-байтные ключи шифра AES256KRB5 (type 2) — см. коммит b5aabec1b710 "auth/cephx: switch default cipher to AES256KRB5". Драйвер cephfs в ядре Linux (libceph) поддерживает только 16-байтные ключи старого шифра CEPH_CRYPTO_AES (type 1) и отклоняет 32-байтный ключ ошибкой EINVAL. В результате любое монтирование cephfs через ядро на кластере Ceph 19.2.7 с ключами по умолчанию завершается ошибкой. Монтирование через userspace-клиент ceph-fuse работает. На версии ceph 19.2.3-alt5 проблема не воспроизводится: ключи генерировались как CEPH_CRYPTO_AES и kernel-монтирование работало.
Ключ aes256k не подходит для монтирования CephFS драйвером ядер 6.12/6.18. Есть три варианта решения: 1. Обновить ядро до Linux 7.0 или новее, где поддерживаются ключи aes256k. (добавление поддержки aes256k ключей в ядро 6.18 если еще и возможно, то в 6.12 очень проблематично). 2. Использовать ceph-fuse. 3. Для ядер 6.12/6.18 на клиенте разрешить aes и создать отдельного клиента CephFS с ключом этого типа: ceph mon set auth_allowed_ciphers aes,aes256k ceph fs authorize --key-type=aes cephfs client.kernel-cephfs / rw ceph auth get-key client.kernel-cephfs > /etc/ceph/kernel-cephfs.secret При монтировании укажите name=kernel-cephfs и secretfile=/etc/ceph/kernel-cephfs.secret. Ключ client.admin при этом менять не требуется. Разрешение старого aes — компромисс по безопасности; Ceph сообщит о нём в состоянии кластера как предупреждение.
(Ответ для obidinog@basealt.ru на комментарий #0) > На версии ceph 19.2.3-alt5 проблема не воспроизводится: ключи генерировались > как CEPH_CRYPTO_AES и kernel-монтирование работало. (Ответ для Alexey Shabalin на комментарий #1) > 3. Для ядер 6.12/6.18 на клиенте разрешить aes и создать отдельного клиента Как быть тем, у кого кластер уже настроен с ключами по умолчанию и при обновлении получат ошибку?