谷歌推出了 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,这是迄今为止最先进的实时对话模型。两者都是专为实时语音代理构建的原生语音模型。它们扩展了 Gemini Audio 系列,该系列此前已于上月发布了Gemini 3.5 Transcribe。此次发布旨在填补一个特定空白:使语音代理能够在不中断对话流程的情况下进行推理并执行工具。

是否可以部署?是的,可用于基于 API 的生产环境。这两个模型目前已在 Gemini Live API 和 Google AI Studio 中上线。它们是托管模型,而非开放权重,因此不支持自托管。
此次发布涵盖两款功能各异的模型。Gemini 3.8 Live专为规模化和成本效益而设计,它融合了对话智能、流畅的对话和可视化辅助功能。Gemini 3.8 Live Extended Thinking则专为高复杂度任务而打造,它在语音生成过程中增加了更高的智能和多步骤推理能力。谷歌将这两款产品定位为精简版的语音处理流程,以取代串联 ASR、LLM 和 TTS 的复杂流程。
基准测试结果
Gemini 3.8 Live Extended Thinking 在 Artificial Analysis 的语音质量指数 (Speech to Speech Quality Index) 中以 82.6 分的成绩荣登榜首。它在 τ-Voice 和 Sierra 的 τ-Voice-banking 基准测试中分别以 68.6% 和 35.1% 的完成率领跑智能体任务完成率。
此外,它在音频模型推理基准测试 Big Bench Audio 中也取得了 97.7% 的高分。Gemini 3.8 Live 在语音代理竞技场 (Speech Agent Arena) 中位列第二,该测试旨在评估人类的偏好。
谷歌报告称,在 ServiceNow 的 EVA-Bench 测试中,这些模型在复杂工作流程中突破了帕累托前沿。它们在 Gemini 企业代理平台的 Live API 上实现了任务准确性和对话质量的平衡。
开发者能力
新模型中的 Live API 公开了 5 项核心功能:
- 异步函数调用:模型在后台执行 API 和工具调用。任务完成后,音频响应会持续流式传输给用户。
- 视觉环境:该模型能够近乎实时地处理实时视觉输入,因此智能体可以理解用户所说和所看到的内容。
- 字母数字精度:它可以准确解析确认码、索赔编号和技术数据,这是语音系统中常见的故障点。
- 多语言支持:它能在对话过程中自动检测并切换 97 种支持的语言,并保持口音一致性。
- 增量内容更新:它将实时音频与结构化数据相结合,以返回上下文感知的响应。
扩展思维在后台添加了可配置的多步骤推理能力。它能够边推理边说话,并使用诸如“让我检查一下”之类的早期语音提示来确认指令。然后,它会在执行长时间运行的任务时,逐步播报进度。谷歌的演示展示了该模型如何将草图和语音反馈转换为可运行的 React 组件,并协调多步骤预订。
定价和生态系统
两种模型的音频输入定价均为每分钟 0.005 美元,音频输出定价均为每分钟 0.018 美元。谷歌表示,此估价基于每百万个输入token 3 美元和每百万个输出token 12 美元。开发者还可以通过处理实时媒体流基础设施的 Live API 集成合作伙伴进行构建。这些合作伙伴包括 Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel和 Vision Agents。谷歌还与 Salesforce、Genspark 和 Lumeris 建立了合作关系,这些合作伙伴强调了这些模型的延迟、流畅性和工具调用效率。示例应用程序可在GitHub上找到。
要点总结
- Gemini 3.8 Live Extended Thinking 在 Artificial Analysis 的语音到语音质量指数中排名第一,得分为 82.6。
- 它在 τ-Voice 测试中获得 68.6% 的分数,在 Sierra 的 τ-Voice-banking 测试中获得 35.1% 的分数,在 Big Bench Audio 测试中获得 97.7% 的分数。
- Gemini 3.8 Live 在后台运行工具和 API 调用,同时继续对话。
- 通过 Live API 进行音频输入的定价为每分钟 0.005 美元,进行音频输出的定价为每分钟 0.018 美元。
- 所有生成的音频都带有谷歌 DeepMind 难以察觉的 SynthID 水印。
更多详情请访问https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-8-live-gemini-3-8-live-extended-thinking/
版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。