ollama 开源软件能够轻松跨不同操作系统、硬件和模型运行 AI 大语言模型 (LLM)，即将迎来显著的速度提升。
ollama 0.11.9-rc0 测试版不久前发布，性能显著提升。ollama 的下一个版本将通过重叠 GPU 和 CPU 计算来提升性能。
这项 ollama 优化来自 VMware 工程师 Daniel Hiltgen，旨在异步构建下一批次的计算图，以保持 GPU 的繁忙。Hiltgen 在上个月的 拉取请求中解释道：
“这重构了 ollama 运行器的主运行循环，使其能够在 Go 例程中执行主要的 GPU 密集型任务（计算 + 浮点运算），以便我们能够并行准备下一批任务，从而减少 GPU 等待下一批任务的停滞时间。
在 Metal 上，我看到令牌速率提高了 2-3%。在单块 RTX 4090 上，我看到了约 7% 的加速。”
NVIDIA GeForce RTX 4090 的性能提升了约 7%，这是一个显著的变化，其他高端 GPU 型号也应该会从这一改进中获得不错的收益，有助于保持 GPU 持续工作。
ollama 0.11.9-rc0 版本还修复了无法识别的 AMD GPU 导致 ollama 出错的问题。此外，还修复了部分 Mac 和 Linux 系统 ollama 安装中未处理的错误导致的崩溃问题。
你可以通过 GitHub 下载并了解更多有关此 ollama 测试版本的详情。
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
