企业 AI 开放平台 GenAI 代码新增护栏和 AMD EPYC 支持

企业 AI 开放平台“OPEA”是 Linux 基金会的一个子项目,由众多不同组织支持,旨在为生成式 AI 提供开放解决方案。OPEA 今日发布了其最新的 GenAI 代码示例。

OPEA 1.4 现已发布,提供最新的生成式 AI 示例,这些示例可在多家供应商的硬件/软件上运行,并利用开源技术。OPEA 1.4 中的新代理功能包括模型上下文协议 (MCP) 支持和深度研究代理。OPEA 1.4 还引入了输入/输出防护栏。OPEA 防护栏旨在保障“内容安全”,防止创建不适当的输出。

企业 AI 开放平台 GenAI 代码新增护栏和 AMD EPYC 支持

OPEA 的防护措施包括过滤竞争对手的提及、禁止敏感子字符串(词语)、禁止提及暴力/攻击/战争等不同主题、禁用偏见、过滤受支持或不受支持的编程语言、阻止恶意 URL、事实一致性设置以及扫描敏感主题和毒性。

企业 AI 开放平台 GenAI 代码新增护栏和 AMD EPYC 支持

除了 OPEA GenAI 功能新增的防护机制外,还新增了推理模型的微调功能、用于确定最适合传入提示的下游 LLM 服务端点的 LLM 路由器、语言检测、隔离环境支持以及远程推理端点支持。OPEA

生成式 AI 示例现在还支持一键部署、文档改进以及其他改进,以提升开发者体验。这些 OPEA GenAI 示例也已开始添加对 AMD EPYC 的支持。AMD EPYC 支持通过专用的 Docker 容器实现。该支持已在第四代 EPYC 和最新的第五代 EPYC 服务器处理器上进行了测试。这补充了现有的英特尔至强、英特尔 Gaudi AI 和英特尔 Arc GPU 等经过验证的硬件支持。

OPEA GenAI 示例 1.4 的下载和更多详细信息,请访问GitHub

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/zixun/61038.html

(0)

相关推荐

发表回复

登录后才能评论