2025 年 2 月 5 日， ZEGO 实时互动 AI Agent 2.10 版本发布，新增支持针对用户的语音进行情绪识别、对讲机模式互动能力、微信小程序接入 AI Agent 并与 AI 进行语音通话等功能。
新增功能
1. 支持微信小程序
支持微信小程序接入 AI Agent 并与 AI 进行语音通话的能力。详细接入方式，请查看开发文档：快速发起语音通话
2. 支持针对用户的语音进行情绪识别
开启该能力后，AI Agent 会根据用户的原始音频分析其中的情绪，例如恐惧、开心、愤怒等，并将识别结果添加到本次请求 LLM 的用户提示词中，从而让 AI 更好的理解用户情绪。
3. 支持对讲机模式互动能力
在创建智能体实例时，可以指定本次互动的互动方式为对讲机模式。在该模式下，AI Agent 不会基于用户静音停顿间隔等方式自动判断用户是否开始和结束说话，而是根据开始说话、结束说话两个 API 来判断。
4. 支持数字人智能体实例边说话边做对应动作
数字人边说「你好」边做出打招呼的动作等。该功能可以在体验 demo 中体验，若希望接入，请联系 ZEGO 商务。
5. 支持 AI 播报到关键词或关键节点时通知业务服务
使用 MetaInfo 可以实现 AI 播报到关键词或关键节点时通知业务服务服务的能力。基于本能力，可以实现用户真正听到某些节点或关键信息时，处理特殊的业务逻辑，例如：
- AI 数字人智能伴学场景中，数字人老师分身回应学生:”你说的对，老师给你点赞。”当 AI 开始播报”点赞”时，驱动数字人做对应的点赞动作。
- AI 电商主播直播，当说到“上链接”的那一刻，则业务侧基于回调通知，触发展示出购物链接或弹窗。
6. 支持优雅销毁智能体实例能力
销毁智能体实例时，可以配置是否等 AI 播报完本次内容之后再销毁，防止 AI 正在说话时就销毁智能体实例造成的体验问题。
改进优化
- 优化误打断逻辑，减少误打断情况。
- 修复在数字人实例场景下可能出现打断模式异常的情况。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/64686.html
