Boson AI 已预览 Higgs Realtime Duplex，一个 450 亿参数的大模型，能够同时聆听、观看和说话，实时生成富有表情的面部形象，并在后台处理任务。该研究性发布扩展了公司已有的对话式语音 AI 平台（该平台已可对接 Pipecat），融合了打断处理、视觉理解、工具调用以及向更大模型的任务委派能力。开发者访问将通过即将推出的 API 提供。
Boson AI 由前亚马逊 AWS 科学家 Alex Smola 和 Mu Li 创立，Higgs Realtime Duplex 是该公司首个全双工模型。像人一样，它一边聆听、一边观看、一边说话，并配有实时生动的面部形象。它自行决定何时开口，被打断时立即停下，同时继续思考、调用工具，并把更复杂的任务委派给后台更大的模型。Boson 将其与来自 Thinking Machines、OpenAI 和 Google 的实时模型做了基准对比。在 450 亿参数（约为 Thinking Machines 模型规模的六分之一）—的情况下，它在多项基准上取得了有竞争力的结果，包括在受测模型中拿下最高的 BigBench Audio 分数。
对于从事语音界面开发的产品开发者来说，挑战正日益超出“生成令人信服的语音”这一范畴。一个助手需要识别出有人正在对它说话，在被插话时让出话语权，并在执行请求时不让用户经历毫无解释的沉默等待。Boson 的发布满足了这些要求，并额外加入了持续的视觉输入与同步的屏幕形象，把对话定位为完成工作的界面。
该模型与 audioXpress 近期报道的一些进展相互关联，包括 Rime 的 Prism 语音到语音模型，以及 Deepgram 对 Daily（Pipecat 背后的公司）的收购。在这些 AI 驱动的努力中，工程重心正从单个语音识别与合成组件，扩展到整套对话系统的行为与集成。
Boson AI 成立于 2023 年，在加州圣克拉拉和安大略省多伦多设有办公室。其领导层包括联合创始人兼 CEO Alex Smola（曾任亚马逊 AWS 副总裁兼杰出科学家）和联合创始人兼 CTO Mu Li（曾任 AWS 高级首席科学家）。公司已构建起覆盖语音到语音交互、语音合成与识别、以及动画化数字人的产品组合，并通过统一的 API 密钥提供托管服务。
在 Higgs Realtime Duplex 中，Boson 把交互组织为 160 毫秒的片段（这是流式架构，而非保证的响应延迟），在处理输入流的同时生成后续输出。450 亿参数的混合专家（MoE）前置模型可以自行推理并调用工具，只把更困难的请求委派给更大的后端模型。Boson 表示，他们在一个经过文本预训练的模型上，用约两万亿 token 的文本、音频和视觉数据继续训练，然后通过多教师在线策略蒸馏（multi-teacher on-policy distillation）把各类专家行为整合起来。
语音与面部渲染使用各自独立的因果解码器。一段短参考录音用于调制音色，而单张图片即可确定面部形象，无需微调。为管理持续交互，Boson 会压缩各条流，并逐步压缩推理与工具调用轨迹，在保留近期视听上下文的同时保留更早的文本历史。这一设计针对全双工运行的一项实际成本：即便在静默期间，处理也在持续进行，不只是说话时。
Boson 报告的 Big Bench Audio 准确率为 98.9，在其对比中最高。其他方面的结果则有高有低：其 Full-Duplex-Bench v1.5 平均分为 75.5，落后于 Thinking Machines 的 77.8 和 GPT-Live-1 的 80.1。该对比使用的是已公布的结果，Boson 表示其中超过一半由自己复现。
“我们 450 亿参数的模型，能与规模是它六倍的模型抗衡，”Boson AI 联合创始人兼 CEO Alex Smola 说。“对我们来说，这说明这个领域仍处于早期：数据、架构和训练方法比单纯的规模更重要。”
开发者目前已经可以通过 Boson 维护的 “pipecat-boson” 集成使用更早的 Higgs Realtime 语音到语音模型。它用一个接受实时音频并流式返回响应的服务，替代了传统 Pipecat 流水线中分离的语音转文本、语言模型和文本转语音服务。支持的功能包括函数调用、可选的用户转录文本、服务端与语义化的语音活动检测（VAD）、打断恢复，以及 100 多种语言。Boson 表示，这个现有模型实现了约 700 毫秒的语音到语音响应时间，以及在被打断时 125 毫秒内让出话语权。该集成由 Boson 作为社区贡献维护。
视觉能力也可以单独通过 Higgs Avatar 获得，它能把一张静态图片变成与智能体语音同步的实时面部形象。Boson 将其用于实时通话和渲染视频，包括与 LiveKit agents 的集成。这为开发者提供了一条现成路径，可以在 Duplex API 尚未发布期间先加入视觉形象。
Boson 更广泛的音频工作还包括开放权重的 40 亿参数 Higgs TTS 3 模型，以及 Higgs VoiceOver——它把语音生成带入 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro。VoiceOver 会把生成的旁白片段直接放到剪辑时间线上，提供富有表现力的控制、自定义音色，以及基于词级时间戳的字幕。Final Cut Pro 版本和 Windows 支持正在开发中，把同一套语音技术延伸到更多制作工作流。
Higgs Realtime Duplex 目前仍是研究预览版，API 宣布“即将推出”。Higgs Realtime 和 Higgs Avatar 现已通过 Boson 的 API 提供，让产品团队在等待新模型访问权限的同时，可以评估公司现有的语音与视觉交互能力。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/73119.html
