Bug 52912

Summary: Отсутствуют или не работают раннеры
Product: Sisyphus Reporter: iQQator <iqqator>
Component: ollamaAssignee: Vitaly Chikunov <vt>
Status: CLOSED FIXED QA Contact: qa-sisyphus
Severity: normal    
Priority: P5 CC: armatik, iqqator, vt
Version: unstable   
Hardware: x86_64   
OS: Linux   
Attachments:
Description Flags
CPU-X (о процессоре) none

Description iQQator 2025-02-03 09:44:27 MSK 
Created attachment 17657 [details]
CPU-X (о процессоре)

При запуске ollama находит видеокарту однако не работает с ней по причине отсутствия раннеров, на данный момент доступно только CPU о чем говорит строка 

msg="Dynamic LLM libraries" runners=[cpu]

На сайте https://github.com/ollama/ollama/issues/2187 обсуждалась проблема запуска на видеокарте без AVX, AVX2 инструкций, однако на моем процессоре они есть

о том что ollama находит мою карту свидетельствуют следующие строки:

level=INFO source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"
level=INFO source=routes.go:1267 msg="Dynamic LLM libraries" runners=[cpu]
level=INFO source=gpu.go:226 msg="looking for compatible GPUs"
level=INFO source=types.go:131 msg="inference compute" id=GPU-98c80eab-6ffa-c8c0-4c2b-a322c05ed129 library=cuda variant=v12 compute=8.9 driver=12.7 name="NVIDIA GeForce RTX 4080 SUPER" total="15.6 GiB" available="14.1 GiB"

Если нужна помощь в тестировании и поиске проблемы напишите
Comment 1 Vitaly Chikunov 2025-02-03 15:19:38 MSK 
apt-repo test 372923
Comment 2 iQQator 2025-02-03 22:16:28 MSK 
Проверил, появились:
source=routes.go:1238 msg="Listening on 127.0.0.1:11434 (version 0.5.7)"
source=routes.go:1267 msg="Dynamic LLM libraries" runners="[cpu_avx cpu_avx2 cuda_v12_avx cpu]"
source=gpu.go:226 msg="looking for compatible GPUs"
source=types.go:131 msg="inference compute" id=GPU-98c80eab-6ffa-c8c0-4c2b-a322c05ed129 library=cuda variant=v12 compute=8.9 driver=12.7 name="NVIDIA GeForce RTX 4080 SUPER" total="15.6 GiB" available="12.6 GiB"

Ollama начала использовать видеокарту. Спасибо.