| Summary: | Не работает llama веб интерфейс | ||||||
|---|---|---|---|---|---|---|---|
| Product: | Sisyphus | Reporter: | obidinog <obidinog> | ||||
| Component: | llama.cpp | Assignee: | Alexey Shabalin <shaba> | ||||
| Status: | RESOLVED FIXED | QA Contact: | qa-sisyphus | ||||
| Severity: | normal | ||||||
| Priority: | P5 | CC: | amakeenk, lavrenkoes, rider, shaba, shemyakin-alexey, vamonster | ||||
| Version: | unstable | ||||||
| Hardware: | x86_64 | ||||||
| OS: | Linux | ||||||
| Bug Depends on: | |||||||
| Bug Blocks: | 59508 | ||||||
| Attachments: |
|
||||||
Запуск с ключём --ui не решает проблему? Есть подозрение, что в обновлённой версии webUI "отсоединили" от llama-server... Данная проблема воспроизводится и в версии 9758, доступной сейчас в Sisyphus. $ llama-server --version version: 9758 (f8cc15f1 [alt1]) built with GNU 15.2.1 for Linux x86_64 Сервер запускался с флагом --ui При подключении к браузеру выводится: $ curl http://localhost:8080 {"error":{"message":"File Not Found","type":"not_found_error","code":404}} Насколько я понял, произошло архитектурное изменение в апстриме llama.cpp, примерно описанное в https://github.com/ggml-org/llama.cpp/discussions/23284 Для "активации" webui необходимо: 1. Скачать архив с UI-ассетами (llama-ui.tar.gz) со страницы релизов на GitHub 2. Распаковать его в постоянную директорию (например, /opt/llama/webui). Запускать сервер с явным указанием пути через флаг --path: $ llama-server --host $(hostname -i) --port 6767 -hf TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF:Q4_K_M --path /opt/llama/webui После чего webui корректно работает Возможно стоит выполнить "оформление" webui в качестве отдельного пакета |
Created attachment 21740 [details] log Платформа: Alt Server P11 x86_64 (Обновленный до Sisyphus) Пакет: llama.cpp 9524-alt1 Шаги: 1) $ llama-server --host $(hostname -i) --port 6767 -hf TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF:Q4_K_M 2) Перейти на страницу http://<ip>:6767 Результат: llama не открывается ошибка 404 message "File Not Found" Ожидаемый результат: Открывается страница с llama.cpp Дополнительно: Являетя регрессом по сравнению с llama.cpp 8470-alt1, на этой версии работает корректно