50962 2024-07-22 17:57:24 +0300 Упаковать libllama.so 2024-07-23 04:18:10 +0300 1 1 4 Development Sisyphus llama.cpp unstable all Linux CLOSED FIXED P5 enhancement --- 1 ancieg vt vt qa-sisyphus oldest_to_newest 249134 0 ancieg 2024-07-22 17:57:24 +0300 Просьба упаковать разделяемую библиотеку libllama.so. Необходимо для дайнейшей сборки https://pypi.org/project/llama-cpp-python/ 249162 1 vt 2024-07-22 21:34:23 +0300 А там разве не забандлен llama.cpp -- как вы будете это объезжать? https://github.com/abetlen/llama-cpp-python/blob/main/.gitmodules 249163 2 vt 2024-07-22 21:39:31 +0300 1. Если я соберу libllama.so, но вы не будете его использовать, то зачем он нужен. 2. llama.cpp может быть собран с поддержкой cpu (у нас пока собрана только эта версия) и с поддержкой cuda, vulcan -там нет мультиархитектурности, это будут независимые llama.cpp бинарники и библиотеки -- как вы будете это выбирать и использовать? В примере https://pypi.org/project/llama-cpp-python/ они собирают забандленый llama.cpp с нужными опциями. Например `CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python` для CUDA. Как это все будет работать с libllama.so из репозитория? 249164 3 vt 2024-07-22 21:44:33 +0300 > Как это все будет работать с libllama.so из репозитория? 3. Да и как пользователи будут выбирать или поддержку cpu, или (в будущем) cuda? jfyi Например, ollama собирает несколько версий llama.spp-server и бандлит их в себя потом при использовании нужная версия запускается автоматически. (Кстати, у них есть и питон модуль https://pypi.org/project/ollama/). 249167 4 vt 2024-07-22 23:43:32 +0300 Я посмотрел как сделано в Федоре https://src.fedoraproject.org/rpms/python-llama-cpp-python/tree/rawhide вы хотите так же делать? 249168 5 repository-robot 2024-07-23 04:18:10 +0300 llama.cpp-1:3441-alt1 -> sisyphus: Tue Jul 23 2024 Vitaly Chikunov <vt@altlinux> 1:3441-alt1 - Update to b3441 (2024-07-23). - spec: Package libllama and libllama-devel (ALT#50962). - spec: Use upstream install procedure; as a consequence, some binary names are changed.