Bug 55500 - Пакет python3-module-llama-cpp-python не загружает GGUF-модель — не инициализирован backend
Summary: Пакет python3-module-llama-cpp-python не загружает GGUF-модель — не инициализ...
Status: NEW
Alias: None
Product: Sisyphus
Classification: Development
Component: python3-module-llama-cpp-python (show other bugs)
Version: unstable
Hardware: x86_64 Linux
: P5 normal
Assignee: Nobody's working on this, feel free to take it
QA Contact: qa-sisyphus
URL:
Keywords:
Depends on:
Blocks:
 
Reported: 2025-08-05 16:41 MSK by Валуев Никита Сергеевич
Modified: 2025-08-05 16:44 MSK (History)
0 users

See Also:


Attachments
Логи ошибки выполнения и скрипт (443 bytes, text/x-python)
2025-08-05 16:41 MSK, Валуев Никита Сергеевич
no flags Details
Логи ошибки (1.02 KB, text/plain)
2025-08-05 16:44 MSK, Валуев Никита Сергеевич
no flags Details

Note You need to log in before you can comment on or make changes to this bug.
Description Валуев Никита Сергеевич 2025-08-05 16:41:16 MSK
Created attachment 19289 [details]
Логи ошибки выполнения и скрипт

Платформы:
ALT KWorkstation 11.0, ALT Workstation 11.0, ALT Education KDE 11.0, ALT Education XFCE 11.0, ALT Server 11.0  (Обновленные до Sisyphus)

Версия пакета: python3-module-asgi-lifespan-2.1.0-alt1.1

После установки пакета и модели, при попытке запустить установленную модель при помощи скрипта, выполнение прерывается с ошибкой бекэнда.

Шаги воспроизведения:

1. Установить пакет:

# apt-get install python3-module-llama-cpp-python

2. Скачать GGUF-модель, например:

wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-f16.gguf

3. Создать скрипт test_llama.py

Скрипт прикладываю:

4. Выполнить:

python3 /root/test_llama.py

Результат:
Инициализация модели завершается с ошибкой

Ожидаемый результат (При проверке с апстримным модулем установленным через pip)
Модель должна загружаться и инициализироваться корректно, как минимум с CPU-бэкендом (ggml), без дополнительных пересборок

Логи прикладываю:
Comment 1 Валуев Никита Сергеевич 2025-08-05 16:44:59 MSK
Created attachment 19290 [details]
Логи ошибки