ollama 0.12.11 带来 Vulkan 加速功能

ollama 0.12.11 版本于上周五发布,作为部署 OpenAI GPT-OSS、DeepSeek-R1、Gemma 3 等大型语言模型的便捷方案,本次更新带来了全新功能。最令人振奋的是 ollama 0.12.11 现已支持 Vulkan API。

通过设置环境变量 OLLAMA_VULKAN=1 启动 ollama,即可启用 Vulkan API 支持,作为 AMD ROCm 和 NVIDIA CUDA 等加速方案的替代方案。这对于开源 Vulkan 驱动、缺乏 ROCm 支持的旧款 AMD 显卡,甚至任何安装了 RADV 驱动但未安装 ROCm 的 AMD 配置都极为便利。正如我们在Vulkan 环境下测试 Llama.cpp 时所见,某些场景下 Vulkan 的运行效率甚至优于 ROCm 等方案。

ollama 0.12.11 版本的此项提交详细阐述了 Vulkan API 支持的实现细节。过去数周内,ollama 已将 Vulkan 支持作为实验性功能提供。

ollama 0.12.11 带来 Vulkan 加速功能

ollama 0.12.11 版本还新增了对 Logprobs 的 API 支持,在其新应用中支持 WebP 图像格式,提升了渲染性能,在调度模型时优先使用独立显卡而非集成显卡,并包含其他多项修复与增强。

ollama 0.12.11 版本的下载及更多详情请访问 GitHub

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/zixun/63033.html

(0)

相关推荐

发表回复

登录后才能评论