Просьба упаковать разделяемую библиотеку libllama.so. Необходимо для дайнейшей сборки https://pypi.org/project/llama-cpp-python/
А там разве не забандлен llama.cpp -- как вы будете это объезжать? https://github.com/abetlen/llama-cpp-python/blob/main/.gitmodules
1. Если я соберу libllama.so, но вы не будете его использовать, то зачем он нужен. 2. llama.cpp может быть собран с поддержкой cpu (у нас пока собрана только эта версия) и с поддержкой cuda, vulcan -там нет мультиархитектурности, это будут независимые llama.cpp бинарники и библиотеки -- как вы будете это выбирать и использовать? В примере https://pypi.org/project/llama-cpp-python/ они собирают забандленый llama.cpp с нужными опциями. Например `CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python` для CUDA. Как это все будет работать с libllama.so из репозитория?
> Как это все будет работать с libllama.so из репозитория? 3. Да и как пользователи будут выбирать или поддержку cpu, или (в будущем) cuda? jfyi Например, ollama собирает несколько версий llama.spp-server и бандлит их в себя потом при использовании нужная версия запускается автоматически. (Кстати, у них есть и питон модуль https://pypi.org/project/ollama/).
Я посмотрел как сделано в Федоре https://src.fedoraproject.org/rpms/python-llama-cpp-python/tree/rawhide вы хотите так же делать?
llama.cpp-1:3441-alt1 -> sisyphus: Tue Jul 23 2024 Vitaly Chikunov <vt@altlinux> 1:3441-alt1 - Update to b3441 (2024-07-23). - spec: Package libllama and libllama-devel (ALT#50962). - spec: Use upstream install procedure; as a consequence, some binary names are changed.
