Bug 55500

Summary:

Пакет python3-module-llama-cpp-python не загружает GGUF-модель — не инициализирован backend

Product:

Sisyphus

Reporter:

Валуев Никита Сергеевич <valuevns>

Component:

python3-module-llama-cpp-python

Assignee:

Nobody's working on this, feel free to take it <nobody>

Status:

NEW ---

QA Contact:

qa-sisyphus

Severity:

normal

Priority:

Version:

unstable

Hardware:

x86_64

OS:

Linux

Attachments:

Description	Flags
Логи ошибки выполнения и скрипт	none
Логи ошибки	none

Description Валуев Никита Сергеевич 2025-08-05 16:41:16 MSK

Created attachment 19289 [details]
Логи ошибки выполнения и скрипт

Платформы:
ALT KWorkstation 11.0, ALT Workstation 11.0, ALT Education KDE 11.0, ALT Education XFCE 11.0, ALT Server 11.0  (Обновленные до Sisyphus)

Версия пакета: python3-module-asgi-lifespan-2.1.0-alt1.1

После установки пакета и модели, при попытке запустить установленную модель при помощи скрипта, выполнение прерывается с ошибкой бекэнда.

Шаги воспроизведения:

1. Установить пакет:

# apt-get install python3-module-llama-cpp-python

2. Скачать GGUF-модель, например:

wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-f16.gguf

3. Создать скрипт test_llama.py

Скрипт прикладываю:

4. Выполнить:

python3 /root/test_llama.py

Результат:
Инициализация модели завершается с ошибкой

Ожидаемый результат (При проверке с апстримным модулем установленным через pip)
Модель должна загружаться и инициализироваться корректно, как минимум с CPU-бэкендом (ggml), без дополнительных пересборок

Логи прикладываю:

Comment 1 Валуев Никита Сергеевич 2025-08-05 16:44:59 MSK

Created attachment 19290 [details]
Логи ошибки