Bug 52640

Summary:	При запуске через systemd не видит видеокарту
Product:	Sisyphus	Reporter:	Alexei V. Mezin <alexei.mezin>
Component:	ollama	Assignee:	Vitaly Chikunov <vt>
Status:	NEW ---	QA Contact:	qa-sisyphus
Severity:	enhancement
Priority:	P5	CC:	amakeenk, snowmix, vt, zhenyakoltsov
Version:	unstable
Hardware:	x86_64
OS:	Linux

Description Alexei V. Mezin 2025-01-08 23:58:43 MSK

systemctl start ollama

В логах видно следующее

level=INFO source=gpu.go:221 msg="looking for compatible GPUs"
...
level=INFO source=gpu.go:610 msg="no nvidia devices detected by library /usr/lib64/libcuda.so.550.135"
level=WARN source=gpu.go:732 msg="unable to locate gpu dependency libraries"
level=INFO source=gpu.go:386 msg="no compatible GPUs were discovered"

А вот как это же место выглядит при запуске от юзера

$ ollama serve
...
level=INFO source=gpu.go:221 msg="looking for compatible GPUs"
...
level=INFO source=types.go:123 msg="inference compute" id=GPU-65e1aaaf-bdf4-f0de-78c5-a1602b838a2f library=cuda variant=v12 compute=8.6 driver=12.4 name="NVIDIA GeForce RTX 3060" total="11.7 GiB" available="11.1 GiB"

Comment 1 Alexander Makeenkov 2025-01-26 19:33:28 MSK

Тоже столкнулся с данной проблемой.

Comment 2 Alexander Makeenkov 2025-01-26 20:55:23 MSK

Решение:

```
--- /usr/lib/systemd/system/ollama.service-orig 2025-01-26 20:51:49.357423016 +0300
+++ /usr/lib/systemd/system/ollama.service      2025-01-26 20:52:12.928733751 +0300
@@ -11,7 +11,7 @@
-PrivateDevices=true
+PrivateDevices=false
```

Comment 3 Евгений 2025-01-28 06:07:28 MSK

В чем заключается решение, изменить параметр PrivateDevices=true на PrivateDevices=false или наоборот?

Comment 4 Vitaly Chikunov 2025-01-31 02:19:44 MSK

В текущей версии (0.5.7-alt1) нет поддержки CUDA. Так что хоть она и увидела GPU и пишет `PROCESSOR` `100% GPU` в `ollama ps` обработка все равно должна идти на CPU.

Планирую её включить после того как смогу проверить и протестировать функционал. Но, пока у меня доступа к видеокартам нет.

PrivateDevices я уберу, спасибо.

Comment 5 Vitaly Chikunov 2025-02-03 04:37:57 MSK

Сделал экспериментальное задание с поддержкой CUDA (NVIDIA GPU):

apt-repo test 372923

Comment 6 Mikhail Chernonog 2025-02-03 18:31:35 MSK

Попробовал тестовое задание. Всё успешно работает nvtop показывает 98-100% загрузки GPU.