Добрый день Виталий, обновил систему и обновилась ollama, в которой снова нет GPU раннеров :( Соберите пожалуйста с ними...
Как я понял, вас не устраивали nvidia либы. Без них собрать поддержку cuda не получится.
(Ответ для Vitaly Chikunov на комментарий #1) > Как я понял, вас не устраивали nvidia либы. Без них собрать поддержку cuda > не получится. На оборот, я говорил что их нет а не то что не устраивали )) Спасибо за оперативность :) load_tensors: offloading 28 repeating layers to GPU load_tensors: offloading output layer to GPU load_tensors: offloaded 29/29 layers to GPU load_tensors: CUDA0 model buffer size = 4168.09 MiB load_tensors: CPU_Mapped model buffer size = 292.36 MiB все работает :)