技术文章
-
Liquid AI 发布 LFM3:6 个开放权重、2B 级多模态模型
Liquid AI 发布了 LFM3,这是其新一代 Liquid Foundation Models。Liquid AI LFM3 是由 6 个开放权重、2B 级模型组成的系列,它…
-
为什么更流畅的视频流,光靠更快的网络还不够
从 AV2 这样的视频编解码器,到浏览器引擎与硬件解码,实现流畅的视频流所涉及的远不止更快的网络。以下是 Web 视频背后的技术是如何运作的。 YouTube 计划最早于 2027…
-
深度剖析IM消息乱序的根本原因及优化方法
本文深度剖析即时通讯IM消息乱序的问题,梳理IM客户端时间戳不可信、多端并发、群消息扇出重试三大核心陷阱,拆解微信、钉钉、企业微信的时序设计方案,并从锚点设计、多端去交错、幂等兜底…
-
JoyAI-VL-Interaction:实时视觉-语言交互智能
实时视频交互不仅要求模型理解画面,还要求模型在恰当的时刻作出回应。传统轮次式视觉语言模型主要围绕用户提问生成回答,难以持续跟踪事件并主动判断何时应当发言。针对这一问题,本文提出了以…
-
论文解读|从 CosyVoice 到 Qwen-Audio-3.0-TTS:四代语音生成系统,如何逐步破解瓶颈
从 CosyVoice、CosyVoice 2、CosyVoice 3,到 Qwen-Audio-3.0-TTS,我们重新回看了四代语音生成系统的技术演进。 贯穿其中的主线并不是简…
-
WebRTC 基准测试:为什么一次看起来“干净”的通话恢复测试可能是错的
WebRTC 基准测试是为了知道自己产品的通话质量与竞品相比如何、差距在哪里。让每个视频通话产品在完全相同的网络限制下运行(例如限速 500 kbps),并在接收端记录通话质量。
-
Android 群组聊天怎么实现:基于 ZIM 的完整落地指南(附可运行 Demo)
Android 群组聊天的实现分两条路:自建长连接 + 消息存储,或者接类似 ZEGO ZIM 这类第三方即时通讯 SDK。如果你的团队没有 IM 基础设施经验和至少两个专职后端,…
-
Mistral AI 发布 Voxtral 3:语音转文字、TTS 与语音智能体 SDK
Mistral AI 刚刚发布 Voxtral 3。Mistral Voxtral 3 是一套语音模型家族,并配套一个语音智能体 SDK。它包含 3 个转写模型、1 个文本转语音模…
-
WebRTC 总体架构:一个嵌入式音视频系统由哪些部分组成?
本文以具备操作系统和网络协议栈的 Linux 类嵌入式设备为例,讨论原生 libwebrtc 接入,场景是一对一可视对讲。
-
阿里百炼多模态交互套件全面升级 Qwen-Audio-3.1 语音大模型,效果更优、成本更低!
百炼多模态实时交互开发套件,能为 AI/AR 眼镜、学习机、汽车、智能机器人等设备注入「听懂、看懂、会思考」的智能能力。借助自然对话、多模态感知与实时交互,设备可以成为硬件 Age…
-
话音刚落,文字已出:从 Hybrid 到大模型的流式 ASR 演进
语音识别并不总能等人把整句话说完。实时字幕要边听边显示,输入法要让文字及时上屏,语音助手要尽快判断用户是否说完,会议系统还要持续处理数小时音频。这些场景共同需要一种能力:音频不断到…
-
ZEGO ZIM 支持用 Flutter 框架开发鸿蒙应用,HarmonyOS 即时通讯接入门槛进一步降低
ZEGO 即时通讯 SDK(ZIM)Flutter 版发布 2.26.0 版本,支持使用 Flutter 框架开发 HarmonyOS 应用。该版本功能对齐标准版 ZIM SDK…
-
把语音能力接入工作流,Ming-3.0 语音系列模型发布
围绕声音创作、长语音分析、业务语音转写三类任务,蚂蚁百灵开源 Ming-3.0 语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列,共五款模型。
-
RAIL:从人类认知能力视角重新审视大型音频语言模型的听觉智能
现有音频评测大多按“语音、环境声音、音乐”等输入类型,或“转写、分类、问答”等任务组织。这些分类便于比较模型在具体任务上的表现,却难以说明任务背后的能力需求。同样是音频问答,辨认两…
-
Android端WebRTC实时美颜落地:从崩溃到高低配机型兼容
项目背景:安卓WebRTC推流系统,链路为「安卓Camera2采集 → LiveKit SFU服务 → 浏览器播放」。需要增加实时美颜,同时要兼顾低端老手机和旗舰手机,支持参数实时…
-
AI 降噪:端侧实时语音降噪与视频降噪
本文处理常见的刚需——降噪。通话里的键盘声、直播里的风扇声、低光视频的噪点,都是信号淹没在噪声里。端侧降噪的难点是实时性:音频一帧 20ms 内要出结果,视频一帧 33ms 内要出…
-
IM 聊天中的表情消息怎么实现:Emoji 直发与自定义表情包两种方案
表情消息是 IM 产品里使用频率最高的消息类型之一,也是带动聊天气氛、塑造品牌感的常用手段。但接入时很多团队会在一个问题上纠结:表情到底应该怎么发——是把 emoji 直接当文本,…
-
WebRTC ICE 连通性检查详解:对等端如何找到一条可用的网络路径
WebRTC 如何确定两个对等端之间的网络路径是否真正可用?这正是 ICE 连通性检查(ICE Connectivity Checks)的用武之地。 1. 为什么需要连通性检查? …
-
实时视频超分辨率:端侧 SR 模型从训练到上屏
本文拿视频超分练手:把 720p 的旧视频、或者低清视频流,在手机上实时放大到 1080p 甚至 4K。端侧超分的难点不在效果,在「一帧只有 16ms 预算」。 1、你遇到的场景 …
-
WebRTC 屏幕共享不是视频,原因何在?
WebRTC 中的屏幕共享曾经很麻烦。现在只是变”棘手”了一些。要想让屏幕共享会话达到最佳质量和性能,有些事情是你必须了解的。