实时音视频技术在“一起听音乐”场景中的应用和实现

“一起听”是 Z 世代社交里非常治愈的一种玩法：朋友、情侣、陌生人，分隔两地，在网易云、QQ 音乐、Spotify 里同步收听同一首歌，边听边语聊或文字交流。”放歌 + 语音”技术上看似简单，但要做到毫秒级同步、版权合规、语聊与音乐音质共存，远比想象中复杂。本文展开讲讲。

一起听音乐的产品形态

• 双人一起听：恋人 / 闺蜜场景，最高频。
• 群组一起听：3~20 人小房间，DJ 模式。
• 陌生人电台：匹配陌生人共听，听完互评。
• 歌单接力：每人轮流当 DJ 加歌。
• 跨平台一起听：iOS 和 Android 用户共同体验。

一起听音乐的核心技术挑战

两种同步方案对比

方案 A：客户端独立播放 + 时间同步

每个客户端独立从音乐 CDN 拉流播放，通过NTP 时间戳同步播放进度：

主播 A: 在 T₀ 时刻开始播放歌曲 X，进度 0
        广播 {song:X, startTime:T₀, progress:0}

听众 B: 收到广播，本地时间 T_now
        计算应播放进度 = T_now - T₀
        在该位置开始播放

优点：成本低，CDN 流式播放费用很低；劣势：拖动 / 暂停同步要靠信令重发。

方案 B：主播端推流分发

主播本地播放音乐并通过 RTC 推流给所有听众：

• 优点：完全同步，主播什么时间什么进度，听众一样。
• 劣势：成本高（按流量计费）、跨设备音质衰减、版权风险高。

生产中绝大多数采用 方案 A + 服务端权威时间，配合 方案 B 的语音通道。

生产推荐架构

音乐 CDN ────→ 客户端独立拉流播放 (按时间戳同步)
                          ↑
                     时间同步广播
                          ↑
            ┌─────────────────────────┐
            │ 业务后台 (歌单/进度/状态) │
            └─────────────────────────┘
                          ↓
RTC 网络 ─── 语音通道 (推拉流，独立于音乐流)

音乐和语音分离两条链路：音乐走 CDN，语音走 RTC。这样既可以利用 CDN 廉价高带宽分发音乐，又可以用 RTC 的低延迟和 3A 处理保证语聊体验。

关键能力点

1. 时间同步

• 使用服务端 NTP 时间而不是客户端本地时间，避免设备时间不准。
• 客户端启动时与服务器时钟做一次 RTT 估算，得到偏移量。
• 每分钟做一次回校，避免长时间漂移。

2. 拖动 / 切歌广播

// DJ 拖动到 1:23
{ event: "seek", songID: "X", position: 83000, startWallClock: T₁ }

// 客户端收到后立即跳转到该位置，再用 startWallClock 校准

3. 缓冲容忍

不同设备网络条件不同，部分客户端可能比 DJ 慢 200~500ms。处理：

• 偏差 < 100ms：不处理。
• 100ms ~ 500ms：调整播放速率（如 1.02x / 0.98x）平滑追赶。
• > 500ms：直接 seek 跳到正确位置，可能听到一次”咔哒”。

4. 语音 + 音乐音质共存

这是最容易被忽视但体验差异最大的点：

• 智能处理：人声开始 → 音乐 -8dB；人声结束 0.5s → 音乐恢复。
• 独立 3A：音乐不能被 AEC 当成回声消掉。
• 音乐档位 Codec：人声场景用 Opus 32kbps，但要兼顾音乐 Opus 至少 64kbps。
• 独立流：让音乐归音乐流，语音归语音流，避免 codec 来回切换。

方案实现：基于 ZEGO RTC 的方案

ZEGO 提供百万量级的正版歌曲曲库，支持 ZEGO 服务器统一时间戳，配合 Express SDK 的 RTC 语音通道与智能音频处理，可以一站式实现”一起听 + 语聊”组合玩法。

伪代码示例：

初始化与版权请求

ZegoEngineProfile profile = new ZegoEngineProfile();
profile.appID = APP_ID;
profile.scenario = ZegoScenario.HIGH_QUALITY_CHATROOM;
ZegoExpressEngine engine = ZegoExpressEngine.createEngine(profile, null);

// 版权曲库
ZegoCopyrightedMusic music = engine.createCopyrightedMusic();
music.initCopyrightedMusic(cfg, callback);

DJ：开始播放并广播时间

// 1. 拉取版权资源
music.requestResource(songCfg, ZegoCopyrightedMusicResourceType.SONG,
    (errCode, data) -> {
        // 2. 下载完成
        music.download(resourceID, dlCb);
        // 3. 本地播放
        ZegoMediaPlayer player = engine.createMediaPlayer();
        player.loadResource(localPath, lrCb);
        long startWallClock = ZegoServerTime.now(); // 服务端时间
        player.start();
        // 4. 广播给其他人
        ZIM.getInstance().sendCustomMessage(roomID,
            "{\"type\":\"play\",\"songID\":\"" + sid +
            "\",\"startTime\":" + startWallClock + "}", cb);
    });

听众：按时间戳追赶

void onPlayBroadcast(JSONObject msg) {
    String songID = msg.getString("songID");
    long startTime = msg.getLong("startTime");

    // 1. 拉资源（同样必须走版权授权）
    music.requestResource(...);
    // 2. 计算偏移
    long now = ZegoServerTime.now();
    long offset = now - startTime; // 已经过去多久
    // 3. 跳转到对应位置开始播放
    player.seekTo(offset);
    player.start();
}

语音通道（与音乐独立）

// 同一房间内，语音流单独推
engine.startPublishingStream("voice_" + uid);
// 设置音乐音量 vs 语音音量比例
player.setVolume(60); // 平时
// 检测人声活跃时
player.setVolume(20);

拖动同步

// DJ 拖动事件
public void onDjSeek(int newPosMs) {
    player.seekTo(newPosMs);
    long wall = ZegoServerTime.now();
    sendBroadcast("{\"type\":\"seek\",\"position\":" + newPosMs +
                  ",\"startTime\":" + wall + "}");
}

// 听众接收
public void onSeekBroadcast(int pos, long startTime) {
    long elapsed = ZegoServerTime.now() - startTime;
    player.seekTo(pos + (int)elapsed);
}

UX 细节

• 歌单协作：每个人都可以加歌、投票踢歌。
• 同步动效：播放进度条多端同步刷新。
• 歌词同步：用音乐播放进度作为权威，歌词独立渲染。
• 反馈表情：弹幕”好听”、”切歌”、”😍”实时飘动。
• 个人收藏：听完一首歌一键加入个人歌单。

版权与合规

• 不能让用户自己上传 MP3 共听，必须接正版曲库。
• 不同国家版权差异：海外友人共听一首中文歌，需检查授权区域。
• 翻唱、改编、混音都需独立授权。
• 付费会员歌曲跨用户共享需”双方都是会员”或”主播代付”机制。

性能与体验优化

• 歌曲预加载：当前歌曲快结束时提前加载下一首，0 间隔切歌。
• 低延迟模式下网络抖动 → 暂时停语音不停音乐，给用户优先级感。
• 蓝牙耳机延迟自动检测，必要时建议切换到有线/扬声器。
• 跨平台时差校验：iOS 和 Android 系统时间偏差用 NTP 服务器统一。

总结

“一起听”看似温柔，技术上其实是”时间同步 + 版权曲库 + 智能音频处理 + 跨平台兼容”四件套。从 0 到 1 自研至少需要 3 个月。配合 ZEGO 的 RTC + 版权曲库套件，加上自己写一份时间同步逻辑，2 周就能让产品上线。把更多时间留给”匹配算法”和”歌单文化”，才是这个赛道的运营核心。