技术文章

近年来，基于大语言模型（LLM）的文本转语音技术快速发展，基于大语言模型（LLM）的TTS方案已经在自然度、音色相似度和零样本音色克隆（zero-shot voice clonin…

编码参数选错，轻则画质下降，重则用户投诉「视频模糊」。但 iOS VideoToolbox 和 Android MediaCodec 的参数体系完全不同。本文写一个 Claude …

和 AI 打视频电话，卡顿、延迟、声画不同步，是常态。 这本质上就是“语音识别 ➡️ 大模型 ➡️ 语音合成 ➡️ 动画驱动”的流水线拼装。环节越多，延迟越高，割裂感越强。 但真正…

近期，上海交通大学张文军院士团队在IEEE Wireless Communications Magazine上系统性阐述了面向 6G 网络的生成式通信（Generative Com…

摘要：多人实时会议中，重要发言人的声音常被其他参会者淹没。本文介绍了ZEGO 实时音视频 SDK (ZEGO Express SDK) 的混流焦点语音（Focus Voice）方案…

本文提出了一种面向超低码率图像压缩的新型生成式解码范式 NeFIC。与现有方法主要依赖图像扩散模型从高斯噪声出发、通过控制信号逐步生成重建图像不同，NeFIC 首先解码出一张保留场…

语音交互的下一个形态是什么？是毫秒级的快速响应？是深度思考的逻辑推理？还是能够感知情绪、像真人般对谈的情感共鸣？如何让语音交互跨越“机械感”走向了“自然和智能”？我们也在持续探索。…

在 Web 端搭建一个功能完整的互动直播平台，核心需要实现推流、拉流、连麦、混流、聊天五个模块。本教程以 ZEGO Express Web SDK 为例，从零开始逐步讲解实现流程。…

在实时通信（RTC）领域，传统的音视频处理算法（如基于经典信号处理的 WebRTC NS 降噪、双线性插值缩放）正逐渐遭遇瓶颈。随着端侧算力的释放与轻量级神经网络（轻量化 CNN/…

近年来，音频语言模型（Audio Language Model, ALMs）推动语音理解从传统单任务系统走向统一的音频到文本生成范式。在这一框架下，说话人验证、语音识别、说话人识别…

阿里团队的最新研究 STAR-VAE 已被机器学习顶级会议 ICML 2026 接收。这项工作聚焦音频生成中一个长期被忽视、却决定效果上限的底层环节——音频 VAE（连续 toke…

我们看到的几乎所有远程操作项目都是这样开始的：团队中的某个人找到 WebRTC 文档，让两台笔记本电脑之间连接网络摄像头，将其连接到机器人，然后在办公室演示远程操控。 但当机器人离…

本文提出 DGAF-VSR，一种基于扩散模型的视频超分辨率方法，针对现有技术在感知质量、重建保真度和时序一致性之间难以兼顾的挑战，通过关键观察发现特征域比像素域更适合提供稳定的时序…

Janus WebRTC 服务器扩展到多个实例并将会议室分布在服务器池中时，会面临新的挑战。本文将介绍如何构建媒体资源代理以及如何扩展其背后的实例池。

在互联网海量信息传播的背景下，大数据量、高频率更新场景中的未读消息数计算与提醒，成为考验系统性能与用户体验的关键问题。 作者：赵勇来源：搜狐技术产品原文：https://mp.we…

为短视频、直播回放、在线教育等业务提供端到端的视频点播成本优化方案，覆盖转码模板配置、存储策略降冷、ABR 播放器集成，帮助在保证播放体验的前提下系统性降低账单支出。 作者：逸良来…

Vulkan® 正在逐步淘汰主机端光线追踪加速结构构建命令，转而采用单一的、基于设备地址的路径。这使得 Vulkan 光线追踪与 DirectX 光线追踪的发展方向、现代引擎架构以…

中国科学技术大学与淘天集团-音视频技术团队在 ICLR 2026上提出的 EchoGen，作为首个基于视觉自回归模型的前馈式主体驱动图像生成框架，通过创新的双路径主体注入策略（解耦…

在WebRTC实时视频开发中，普遍存在两大痛点：无法传递帧级自定义元数据，难以实现视频溯源与精准帧对齐；高清高帧率编码场景下服务CPU占用过高，极易引发卡顿、延时抖动、服务不稳定等…

FFmpeg 是音视频瑞士军刀，但在移动端集成——交叉编译、JNI 桥接、Swift 封装，每一步都是坑。本文用 Claude Code 写一个双端统一的 FFmpeg 视频编辑封…