ZEGO 实时互动 AI Agent 2.14.0 发布:新增 Microsoft ASR 供应商等功能

ZEGO 实时互动 AI Agent 2.14.0 版本发布,本次版本核心亮点是新增 Microsoft ASR 供应商、获取本轮 AI 语音播报的文本内容 PlayedText、对讲机模式与 AI Agent 聆听模式支持取消聆听和基于 Server Secret 加密 APIKey等功能。

ZEGO 实时互动 AI Agent 2.14.0 发布:新增 Microsoft ASR 供应商等功能

新增 Microsoft ASR 供应商

新增 Microsoft 语音识别能力。配置 ASR.Vendor 为 Microsoft,并可在 ASR.Params 中配置 languagephrase_list 等参数。详细配置方式请参考开发文档 配置 ASR

目前 ZEGO 还支持的ASR厂商及模型包括腾讯 ASR、阿里云百炼、火山大模型流式语音识别模型。

获取本轮 AI 语音播报的文本内容 PlayedText

AI 播报被打断时,可通过 Interrupted 回调中的 PlayedText 获取本轮实际已播放的文本内容。该能力适用于 LLM 输出和 sendAgentInstanceTTS 触发的语音播报。

对讲机模式与 AI Agent 聆听模式支持取消聆听

对讲机模式是在与智能体互动时的一种形式,比如在按需发言的短轮交互场景,用户按住说话、松开后获得 AI 回复。

创建智能体实例时,可通过 AdvancedConfig.CommunicationMode 设置互动模式:1 为聆听模式,2 为对讲机模式。调用 StopListening 可结束当前聆听,请求需携带 AgentInstanceId,可选 UserId 和递增的 Sequence

基于 Server Secret 加密 APIKey

在 AdvancedConfig 中将 LLMApiKeyEncryptMode 设置为 1,启用 AES-128-GCM 加密模式。使用 Server Secret 加密 LLM.ApiKey 后,再用于注册智能体或创建智能体实例请求。密文不合法或解密失败时返回错误码 410001040

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/zixun/71394.html

(0)

相关推荐