А там разве не забандлен llama.cpp -- как вы будете это объезжать?

https://github.com/abetlen/llama-cpp-python/blob/main/.gitmodules

1. Если я соберу libllama.so, но вы не будете его использовать, то зачем он нужен.

2. llama.cpp может быть собран с поддержкой cpu (у нас пока собрана только эта версия) и с поддержкой cuda, vulcan -там нет мультиархитектурности, это будут независимые llama.cpp бинарники и библиотеки -- как вы будете это выбирать и использовать?

В примере https://pypi.org/project/llama-cpp-python/ они собирают забандленый llama.cpp с нужными опциями. Например `CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python` для CUDA.

Как это все будет работать с libllama.so из репозитория?

> Как это все будет работать с libllama.so из репозитория?

3. Да и как пользователи будут выбирать или поддержку cpu, или (в будущем) cuda?

jfyi Например, ollama собирает несколько версий llama.spp-server и бандлит их в себя потом при использовании нужная версия запускается автоматически. (Кстати, у них есть и питон модуль https://pypi.org/project/ollama/).

Я посмотрел как сделано в Федоре https://src.fedoraproject.org/rpms/python-llama-cpp-python/tree/rawhide вы хотите так же делать?

llama.cpp-1:3441-alt1 -> sisyphus:

 Tue Jul 23 2024 Vitaly Chikunov <vt@altlinux> 1:3441-alt1
 - Update to b3441 (2024-07-23).
 - spec: Package libllama and libllama-devel (ALT#50962).
 - spec: Use upstream install procedure; as a consequence, some binary names are
   changed.