Прошу выделить cuda и vulkan в подпакеты. Cpu можно тоже. Для примера смотреть родственный пакет llama.cpp.