Собственно, суть - в аннотации. Что ожидается от обновления: - возможность загружать GigaChat3.1-10B-A1.8B-GGUF (разработчики в инструкции говорят про llama.cpp>=8495): https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B-GGUF - поддержка MTP-моделей. Например, на текущей версии unsloth/Qwen3.5-9B-MTP-GGUF (https://huggingface.co/unsloth/Qwen3.5-9B-MTP-GGUF/tree/main) отказалась загружаться: llama_model_load: error loading model: missing tensor 'blk.32.ssm_conv1d.weight'
https://packages.altlinux.org/ru/tasks/420783 Попробуйте обновить из этого задания. Подходит?
Обновил из задания. После обновления: - MTP модель загрузилась и стабильно отрабатывала в экспериментах с параметрами запуска модели - Гигачат. Загрузился. Собственно говоря, он и на предыдущей версии загружался, но практически постоянно ронял llama-server. Нельзя исключать, что это был просто результат некорректных настроек параметров. На новой версии llama.cpp - загружается и отрабатывает. Нельзя сказать, что отрабатывает абсолютно стабильно - имели место падения сервера, один раз "наглухо" повесил систему, пришлось делать аппаратный reset. Однако, довольно быстро удалось добиться стабильной работы путём корректировки параметров запуск - модель стала отрабатывать до конца референса. Субъективно, на новой версии Гигачат, в целом, работает стабильнее, чем на предыдущей версии llama.cpp - лог сервера в консоль стал "цветастым". В предыдущей версии даже с --log-colors on все записи были одноцветными. С учётом того, что в описании пакета прямо написано, что это всё экспериментально и нестабильно, полагаю, что обновление вполне жизнеспособно - приносит дополнительный полезный функционал и, в определённых аспектах, повышает стабильность работы.
Отлично. В репозиторий попадёт после прохождения тестирования.
т.е. обновления не будет?
(Ответ для HAW на комментарий #4) > т.е. обновления не будет? Будет, но после исправления регрессии.
новая версия в репозитории
