systemctl start ollama В логах видно следующее level=INFO source=gpu.go:221 msg="looking for compatible GPUs" ... level=INFO source=gpu.go:610 msg="no nvidia devices detected by library /usr/lib64/libcuda.so.550.135" level=WARN source=gpu.go:732 msg="unable to locate gpu dependency libraries" level=INFO source=gpu.go:386 msg="no compatible GPUs were discovered" А вот как это же место выглядит при запуске от юзера $ ollama serve ... level=INFO source=gpu.go:221 msg="looking for compatible GPUs" ... level=INFO source=types.go:123 msg="inference compute" id=GPU-65e1aaaf-bdf4-f0de-78c5-a1602b838a2f library=cuda variant=v12 compute=8.6 driver=12.4 name="NVIDIA GeForce RTX 3060" total="11.7 GiB" available="11.1 GiB"
Тоже столкнулся с данной проблемой.
Решение: ``` --- /usr/lib/systemd/system/ollama.service-orig 2025-01-26 20:51:49.357423016 +0300 +++ /usr/lib/systemd/system/ollama.service 2025-01-26 20:52:12.928733751 +0300 @@ -11,7 +11,7 @@ -PrivateDevices=true +PrivateDevices=false ```
В чем заключается решение, изменить параметр PrivateDevices=true на PrivateDevices=false или наоборот?
В текущей версии (0.5.7-alt1) нет поддержки CUDA. Так что хоть она и увидела GPU и пишет `PROCESSOR` `100% GPU` в `ollama ps` обработка все равно должна идти на CPU. Планирую её включить после того как смогу проверить и протестировать функционал. Но, пока у меня доступа к видеокартам нет. PrivateDevices я уберу, спасибо.
Сделал экспериментальное задание с поддержкой CUDA (NVIDIA GPU): apt-repo test 372923
Попробовал тестовое задание. Всё успешно работает nvtop показывает 98-100% загрузки GPU.
