Bug 59508

Summary:	Обновить llama.cpp в p11
Product:	Branch p11	Reporter:	AlexeyS <shemyakin-alexey>
Component:	llama.cpp	Assignee:	Alexey Shabalin <shaba>
Status:	NEW ---	QA Contact:	qa-p11 <qa-p11>
Severity:	normal
Priority:	P5	CC:	amakeenk, haw
Version:	unspecified
Hardware:	x86_64
OS:	Linux
Bug Depends on:	59598
Bug Blocks:

Description AlexeyS 2026-06-11 13:31:38 MSK

Собственно, суть - в аннотации.
Что ожидается от обновления:
- возможность загружать GigaChat3.1-10B-A1.8B-GGUF (разработчики в инструкции говорят про llama.cpp>=8495): https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF
- поддержка MTP-моделей. Например, на текущей версии unsloth/Qwen3.5-9B-MTP-GGUF (https://huggingface.co/unsloth/Qwen3.5-9B-MTP-GGUF/tree/main) отказалась загружаться:
llama_model_load: error loading model: missing tensor 'blk.32.ssm_conv1d.weight'

Comment 1 Alexander Makeenkov 2026-06-11 19:08:11 MSK

https://packages.altlinux.org/ru/tasks/420783

Попробуйте обновить из этого задания. Подходит?

Comment 2 AlexeyS 2026-06-13 09:19:49 MSK

Обновил из задания. После обновления:
- MTP модель загрузилась и стабильно отрабатывала в экспериментах с параметрами запуска модели
- Гигачат. Загрузился. Собственно говоря, он и на предыдущей версии загружался, но практически постоянно ронял llama-server. Нельзя исключать, что это был просто результат некорректных настроек параметров. На новой версии llama.cpp - загружается и отрабатывает. Нельзя сказать, что отрабатывает абсолютно стабильно - имели место падения сервера, один раз "наглухо" повесил систему, пришлось делать аппаратный reset. Однако, довольно быстро удалось добиться стабильной работы путём корректировки параметров запуск - модель стала отрабатывать до конца референса. Субъективно, на новой версии Гигачат, в целом, работает стабильнее, чем на предыдущей версии llama.cpp
- лог сервера в консоль стал "цветастым". В предыдущей версии даже с --log-colors on все записи были одноцветными.

С учётом того, что в описании пакета прямо написано, что это всё экспериментально и нестабильно, полагаю, что обновление вполне жизнеспособно - приносит дополнительный полезный функционал и, в определённых аспектах, повышает стабильность работы.

Comment 3 Alexander Makeenkov 2026-06-13 09:29:56 MSK

Отлично. В репозиторий попадёт после прохождения тестирования.

Comment 4 HAW 2026-07-06 06:11:04 MSK

т.е. обновления не будет?

Comment 5 Alexander Makeenkov 2026-07-06 08:47:44 MSK

(Ответ для HAW на комментарий #4)
> т.е. обновления не будет?

Будет, но после исправления регрессии.