远程鉴宝直播需求拆解、RTC技术选型、架构设计及功能实现

一、引言

过去几年，文物鉴定行业最显著的变化之一是”远程鉴宝”的兴起。鉴定专家无需亲临现场，通过高清视频连线就能完成陶瓷釉面、书画笔触、玉器沁色等微观特征的远程甄别。这一模式解决了专家资源地理分布不均的痛点，让收藏者不再需要携带贵重器物长途奔波。

然而，远程鉴宝面临的挑战也极为鲜明：文物细节在高压缩率视频中容易失真，低光环境下的拍摄会导致釉色误判，收藏者端的网络和设备条件参差不齐，而鉴定结论的法律效力和存证需求又对录制文件的完整性提出了极高要求。

实时音视频（RTC）技术的演进，为这些挑战提供了系统性的技术方案。4K 高分辨率推流解决了细节呈现问题，弱光增强算法弥补了光线不足，云端录制满足了存证需求，SEI 媒体信息通道则让鉴定结果与视频流精准绑定。本文将从鉴宝直播场景的技术需求出发，拆解系统架构设计，并以即构科技的实时音视频 SDK(ZEGO Express SDK)为技术参照，给出核心功能的实现代码。

二、鉴宝直播需求拆解

鉴宝直播的核心用户角色包括三类：收藏者（推流端，展示藏品）、鉴定专家（拉流端，观看并点评）、观众（拉流端，围观学习）。三类角色对音视频能力的需求各有侧重。

核心需求总览

必需 vs 加分需求拆分

必需需求（MVP 阶段）：
– 1080p/4K 高分辨率推流 + 双摄同时推送
– 3A 音频处理（回声消除、噪声抑制、自动增益）+ 场景化 AI 降噪
– 弱光增强
– 屏幕共享
– 云端录制
– 基础信令消息（鉴定流程控制）

加分需求（进阶阶段）：
– SEI 信息叠加鉴定结论
– CDN 旁路推流（大规模观众）
– AI 辅助鉴定（图像识别接口对接）
– AR 叠加展示文物原貌
– 多方联席鉴定
– 区块链存证 + 数字鉴定证书

三、RTC 技术选型

自建 vs 成熟 SDK

鉴宝直播场景对视频画质和稳定性的苛刻要求，决定了成熟 RTC SDK 是更务实的选择。自研方案在弱光增强、超分辨率、编码器优化等高门槛能力上的投入成本过高，且无法在短时间内达到商用级稳定性。

关键技术指标

ZEGO Express SDK 能力匹配

Express SDK 的产品优势中，以下能力与鉴宝场景直接对应：

• 超高画质：最高支持 4K 60 帧，自研 z264 编码器在相同码率下画质优于通用 H.264，这对文物表面细节的保留至关重要
• AI 视频引擎：内置多倍超分、暗光增强、背景分割能力，直接覆盖弱光场景和画质增强需求
• 3A 及场景化 AI 降噪：消除收藏者端环境噪声和回声，保证专家端清晰聆听
• 分层视频编码：大流供专家观看高清细节，小流供观众和弱网用户拉取，兼顾画质与流畅
• 自研编码器 z264：针对复杂画面（如瓷器纹饰、玉器雕刻细节）有明显画质提升

四、系统架构设计

整体架构

鉴宝直播系统采用 客户端-网络-服务端 三层架构：

客户端层（Web/移动端）：
– 收藏者端：双摄采集（机身主摄 + 外接微距镜头）、屏幕推流流 + 摄像头流、本地预览、接收鉴定结果
– 专家端：多路拉流（全景流 + 微距流）、屏幕共享（参考资料）、语音发送、鉴定结论输入
– 观众端（可选）：通过 CDN 拉流观看，文字聊天互动

RTC 网络层（ZEGO 全球 MSDN）：
– 房间管理：收藏者登录主房间，专家和观众按需加入
– 媒体流转发：低延迟 UDP 传输，自适应码率，分层编码分发
– SEI 信息通道：鉴定结论随视频帧同步传输

业务服务器：
– 鉴权服务：生成房间 Token，Token 由服务端生成，每次使用时从服务端获取
– 录制调度：通过云端录制服务端 API 启动/停止录制，管理录制文件存储
– 鉴定流程管理：记录鉴定会话元数据，关联录制文件与鉴定结论
– 用户管理：收藏者/专家身份认证，鉴定记录查询

数据流设计

消息通道选型策略

鉴宝场景的消息通道选型需要区分”流程控制类”和”互动类”两种不同性质的消息：

流程控制类消息（用 Express sendCustomCommand）：
– 鉴定开始/结束通知
– 专家接管画面的控制指令
– 画面切换信号（全景 ↔ 微距）

选择理由：sendCustomCommand 支持定向用户发送，频率 200 条/秒（单人），可靠有序，延迟极低，适合鉴定流程中的精确实时控制。

鉴定结论类消息（用 ZIM ZIMCustomMessage + SEI 双通道）：
– ZIMCustomMessage：可靠存储，可查询历史记录，大小上限 2KB（可扩至 32KB），适合存储完整的鉴定结论数据
– SEI：随视频帧绑定，无法事后篡改时间线，适合作为鉴定结论与画面同步的证据锚点

选择理由：ZIM 提供消息可靠有序和历史查询能力，是鉴定结论持久化的最佳通道；SEI 提供画面-结论的不可篡改绑定，两者互补。

观众互动类消息（用 Express sendBarrageMessage）：
– 弹幕发言、点赞等不要求可靠送达的高频消息

选择理由：sendBarrageMessage 无频率限制，适合大并发场景，且与 RTC 房间同通道管理，无需额外集成。

五、核心功能实现

以下代码示例基于 ZEGO Express SDK（Web 端，JavaScript），展示鉴宝直播场景中核心功能的关键实现。

5.1 高分辨率多码率推流配置

文物鉴定对视频画质的要求远高于普通直播，需要看清瓷器釉面的细密开片、书画的笔触走向、玉器的沁色层次。1080p 是基础要求，条件允许时推到 4K。

import { ZegoExpressEngine } from 'zego-express-engine-webrtc';

// 初始化 Express SDK
const zg = new ZegoExpressEngine(appID, server);

// 创建高分辨率视频流（4K 档位，quality=4 表示自定义参数模式）
const videoStream = await zg.createZegoStream({
    camera: {
        video: true,
        audio: false,
        // quality=4 时 width/height/frameRate/bitrate 全部可自定义
        videoQuality: 4,
        width: 3840,               // 4K 分辨率宽
        height: 2160,              // 4K 分辨率高，宽高必须为 8 的倍数
        frameRate: 20,             // 帧率 20fps，文物展示不需要高帧率
        bitrate: 8000,             // 码率 8000 kbps
                                   // 4K 画面细节丰富，需较高码率保证单帧质量
    }
});

// 推流时开启大小流编码 —— 大流给专家看，小流给弱网用户
zg.enableDualStream(); // 开启分层视频编码

// 推流到房间
await zg.startPublishingStream('collector_main_stream', videoStream, {
    roomID: roomID
});

码率设置的考量：鉴宝场景中，帧率不必追求 30fps 甚至 60fps——收藏者手持摄像头缓慢移动展示器物时，画面本身变化就不快。适当降低帧率（15-25fps）可以将编码预算更多分配给单帧画质，在同等总码率下获得更清晰的静态细节。对于 4K 分辨率、细节丰富的器物画面，建议码率不低于 6000 kbps；1080p 建议 3000-4000 kbps。

大小流策略：专家的播放端应当拉取大流（扩展层），普通观众的播放端可拉取小流（基本层，默认 160×120/15fps/50kbps），既保证了核心鉴定体验，又兼顾了围观用户。

// 专家端拉取大流（streamType=1 表示大流/扩展层）
const expertStream = await zg.startPlayingStream('collector_main_stream', {
    streamType: 1
});

// 观众端拉取小流（streamType=0 表示小流/基本层）
const audienceStream = await zg.startPlayingStream('collector_main_stream', {
    streamType: 0
});

5.2 双摄像头同步推流（全景+微距）

鉴宝场景中，单一摄像头无法同时兼顾器物全景和局部细节。收藏者通常需要两部设备或一部支持双摄的手机，将全景和微距画面作为两路独立的流同时推送。

// --- 全景摄像头流（主摄）---
// 拍摄器物整体造型、器型轮廓
const wideStream = await zg.createZegoStream({
    camera: {
        video: true,
        audio: false,
        videoQuality: 4,
        width: 1920,
        height: 1080,
        frameRate: 20,
        bitrate: 3500,
        // 使用默认摄像头（通常是后置广角），不指定 facingMode
        facingMode: 'environment'
    }
});

// --- 微距摄像头流（外接USB微距镜头 或 手机微距模式）---
// 拍摄底款、铭文、釉面气泡、铜器锈斑等局部细节
const macroStream = await zg.createZegoStream({
    camera: {
        video: true,
        audio: false,
        videoQuality: 4,
        width: 1920,
        height: 1080,
        frameRate: 25,           // 微距手持时画面抖动更明显，可略微提高帧率
        bitrate: 4000,
        // 外接微距设备需通过 input 指定设备 ID
        input: macroCameraDeviceId
    }
});

// 推两条独立的流，分别用不同的 streamID
await zg.startPublishingStream('collector_wide_stream', wideStream, {
    roomID: roomID
});
await zg.startPublishingStream('collector_macro_stream', macroStream, {
    roomID: roomID
});

专家侧拉流展示：专家端同时订阅两路流，可在界面中分屏布局——左侧全景，右侧微距——在同一块屏幕上直观比对器物全貌与局部细节。

// 拉取全景流
const remoteWideStream = await zg.startPlayingStream('collector_wide_stream');
// 拉取微距流
const remoteMacroStream = await zg.startPlayingStream('collector_macro_stream');

// 分别挂载到不同的 video 元素
document.getElementById('wide-view').srcObject = remoteWideStream;
document.getElementById('macro-view').srcObject = remoteMacroStream;

自定义视频采集方案（Web端无法同时开启双摄像头时的备选）：部分浏览器不允许同时从两个物理摄像头采集。此时可采用”一路原生采集 + 一路自定义视频源”的策略，将微距画面通过自定义视频采集通道送入 SDK：

// 自定义视频采集：从外部USB微距摄像头获取画面并送入SDK
const macroVideoElement = document.createElement('video');
macroVideoElement.autoplay = true;
// 获取微距摄像头 MediaStream
const macroMediaStream = await navigator.mediaDevices.getUserMedia({
    video: { deviceId: macroCameraDeviceId, width: 1920, height: 1080 }
});
macroVideoElement.srcObject = macroMediaStream;
macroVideoElement.play();

// 以自定义视频源方式创建流
const customMacroStream = await zg.createZegoStream({
    custom: {
        video: macroVideoElement,  // 传入已采集的 video 元素
        audio: false
    }
});
await zg.startPublishingStream('collector_macro_stream', customMacroStream, {
    roomID: roomID
});

5.3 弱光增强与画面优化

部分收藏环境（如室内藏品柜、古玩店角落）光照条件有限，直接拍摄会导致画面暗部细节丢失，尤其影响瓷器釉色、玉器沁色和铜器锈色的判断。

Express SDK 提供弱光增强（Lowlight Enhancement）能力，可在推流时开启：

// 创建摄像头流时开启弱光增强
const videoStream = await zg.createZegoStream({
    camera: {
        video: true,
        audio: false,
        videoQuality: 4,
        width: 1920,
        height: 1080,
        frameRate: 20,
        bitrate: 3500
    }
});

// 设置弱光增强模式
// ZegoLowlightEnhancementMode.Off = 0（关闭）
// ZegoLowlightEnhancementMode.On = 1（开启）
// 需通过 setVideoConfig 设置低照度增强参数
await zg.setVideoConfig(videoStream, {
    lowlightEnhancementMode: 1  // 开启弱光增强
});

await zg.startPublishingStream('collector_stream', videoStream, {
    roomID: roomID
});

超分辨率能力：Express SDK 的超分辨率功能可在接收端对低分辨率画面进行 AI 增强，尤其当收藏者端网络带宽受限、实际编码分辨率被迫降低时，专家端可通过超分重建部分丢失的细节。

补充建议：弱光增强算法虽能提升亮度，但无法替代基础光照。在业务流程上，建议在鉴定前引导收藏者检查光照条件，画面亮度值和对比度低于阈值时给出提示，要求补充光源或调整拍摄角度。

5.4 云端录制存证

鉴定过程的完整录制是存证的基础。云端录制分为两种模式：

• 单流录制：每条音视频流单独生成文件，适合需要独立留存收藏者画面和专家语音的场景
• 混流录制：将多路流合成为单文件，适合直接作为鉴定凭证交付

// --- 客户端侧无需特殊代码，云端录制通过服务端 API 启动 ---
// 以下为服务端 API 示例（使用服务端签名鉴权）

// 开始单流录制 —— 每条流生成独立文件
async function startSingleStreamRecording(roomId, streamIds) {
    const url = `https://cloud-recording-api.zego.im/v2/start_record`;
    const params = {
        RoomId: roomId,
        RecordInputParams: {
            // 单流模式：指定要录制的流列表
            StreamList: streamIds.map(id => ({ StreamId: id })),
            Mode: 0  // 0 = 单流录制
        },
        RecordOutputParams: {
            Format: 'mp4',
            OutputPath: `/recordings/${roomId}/`
        },
        StorageParams: {
            // 存储到第三方云存储（如阿里云OSS、腾讯云COS、AWS S3）
            StorageProvider: 1,
            Bucket: 'your-bucket-name',
            Region: 'your-region',
            AccessKeyId: 'xxx',
            SecretAccessKey: 'xxx'
        },
        // 录制自动结束条件
        MaxIdleTime: 300,     // 房间空闲 5 分钟自动停止
        MaxRecordTime: 7200   // 单次录制最长 2 小时
    };

    const signature = generateSignature(appId, secret); // 服务端签名
    const response = await fetch(url, {
        method: 'POST',
        headers: {
            'Content-Type': 'application/json',
            'Signature': signature,
            'AppId': appId
        },
        body: JSON.stringify(params)
    });
    return response.json();
}

// 开始混流录制 —— 所有流合成为单文件
async function startMixStreamRecording(roomId, layoutConfig) {
    const url = `https://cloud-recording-api.zego.im/v2/start_record`;
    const params = {
        RoomId: roomId,
        RecordInputParams: {
            Mode: 1,  // 1 = 混流录制
            MixStreamLayout: {
                // 画中画布局：收藏者画面为主画面（占 70%），专家小窗在右上角
                Layout: 'pip',
                MainStreamId: 'collector_wide_stream',
                PipPosition: 'top_right',
                PipWidth: 0.3,
                PipHeight: 0.3
            }
        },
        RecordOutputParams: {
            Format: 'mp4',
            OutputPath: `/recordings/${roomId}/final/`
        },
        StorageParams: { /* 同上 */ }
    };
    // ...同上发送请求
}

录制文件安全链：录制完成后，建议对文件计算 SHA-256 哈希值并存入库中，作为鉴定凭证的完整性校验依据。后续接入区块链存证时，将该哈希上链即可构成完整的存证闭环。

5.5 SEI 叠加鉴定结果

SEI（媒体补充增强信息）可以将文本信息与视频帧一起编码传输，在拉流端按帧回调。用于鉴定场景时，鉴定结论可以与画面精确同步嵌入，后续即使视频文件被编辑，SEI 数据的帧级对应关系也可作为证据：

// --- 专家端：发送鉴定结论 SEI ---

// 在推流成功后调用
zg.on('publisherStateUpdate', async (result) => {
    if (result.state === 'PUBLISHING') {
        // 构造鉴定结论数据
        const conclusion = {
            type: 'appraisal_result',
            timestamp: Date.now(),
            itemId: 'treasure_20240607_001',
            expertId: 'expert_zhang_003',
            result: {
                authenticity: 'authentic',    // 真伪：authentic / fake / uncertain
                era: '清乾隆（1736-1795）',
                valuation: '800,000 - 1,200,000 RMB',
                remarks: '釉面肥润，青花发色正宗，圈足修胎规整，款识笔法流畅，综合判断为乾隆官窑真品'
            }
        };

        const jsonStr = JSON.stringify(conclusion);
        const encoder = new TextEncoder();
        const data = encoder.encode(jsonStr);

        // 发送 SEI，数据限制 4096 字节，1 秒不超过 30 次
        // 为防丢帧，关键结论建议连发 3-5 次
        await zg.sendSEI('expert_stream_id', data);
        // 冗余发送
        setTimeout(() => zg.sendSEI('expert_stream_id', data), 100);
        setTimeout(() => zg.sendSEI('expert_stream_id', data), 200);
    }
});

// --- 收藏者端 / 平台端 / 录制端：接收 SEI ---

// 监听 SEI 回调
zg.on('playerRecvSEI', (streamID, uintArray) => {
    // 头部 4 字节为 SEI 类型（1004 = payload type 5, 1005 = payload type 243）
    const view = new DataView(uintArray.buffer);
    let offset = 4; // 跳过前 4 字节的 SEI 类型标识

    // 提取剩余字节为 UTF-8 文本
    const payload = new Uint8Array(uintArray.slice(offset));
    const decoder = new TextDecoder();
    const jsonStr = decoder.decode(payload);

    try {
        const conclusion = JSON.parse(jsonStr);
        // 将鉴定结果与当前播放帧关联并展示
        displayAppraisalResult(conclusion);
        // 同时将结果上报业务服务器存储
        saveAppraisalRecord(conclusion);
    } catch (e) {
        console.warn('SEI parse error:', e);
    }
});

SEI 使用限制：速率不超过 30 次/秒，单次数据量不超过 4096 字节。超过 4096 字节的鉴定结论（如附带详细描述或图片 URL），建议通过 ZIM ZIMCustomMessage 另行发送，SEI 中仅携带结论摘要和对应消息 ID。

5.6 屏幕共享（参考资料展示）

专家在鉴定过程中常需展示比对资料：馆藏同款器物图片、拍卖成交记录、X 射线荧光分析报告等。屏幕共享是最直接的实现方式：

// --- 专家端：开启屏幕共享 ---

// 创建屏幕共享流
const screenStream = await zg.createZegoStream({
    screen: {
        video: true,
        audio: false   // 屏幕共享时一般不推音频
    }
});

// 推屏幕共享流
await zg.startPublishingStream('expert_screen_stream', screenStream, {
    roomID: roomID
});

// 监听屏幕共享中断事件（用户手动关闭了浏览器共享弹窗）
zg.on('screenSharingEnded', (stream) => {
    console.warn('屏幕共享已结束');
    // 通知房间内其他用户
    zg.sendCustomCommand(roomID, {
        type: 'screen_sharing_ended'
    }, []);
});

屏幕共享 + 摄像头流的切换策略：专家端可同时推摄像头流和屏幕共享流。在混流输出或 CDN 旁路推流时，可使用画中画布局。主画面为屏幕共享内容（参考资料），小窗为专家摄像头画面（专家表情/讲解），既保证了资料信息的完整呈现，又保留了人际交互的温度。

六、关键问题与优化策略

七、场景延伸与扩展玩法

7.1 AI 辅助鉴定（图像识别 + 数据库比对）

在推流过程中实时截取关键帧，发送至后端 AI 识别服务（文物图像识别模型），将 AI 分析结果作为辅助参考反馈给专家：

技术实现思路：推流端调用 takePublishStreamSnapshot 截取推流画面静止帧；后端接入文物图像识别模型（如基于 ResNet/EfficientNet 的文物分类模型）；比对结果通过 ZIM ZIMCustomMessage 可靠下发至专家端。AI 结论作为辅助参考而非最终判定，降低误判责任风险。

7.2 AR 展示文物原貌与细节

利用 AR 叠加技术，将文物的历史原貌（修复前状态、出土原始照片、3D 扫描模型等）叠加在当前收藏者摄像头画面上：

技术实现思路：需要收藏者端具备空间锚点识别能力（通过文物的几何特征建立参考坐标系）；AR 叠加层通过 Express 自定义视频采集通道混入视频流，或将 AR 渲染数据单独推流。此方案对收藏者端设备算力要求较高，适合作为专家端专属功能——收藏者推送原始画面，专家端拉取后在播放层叠加 AR 数据。

7.3 区块链存证 + 数字鉴定证书

将完整的鉴定过程（录制文件哈希、鉴定结论、专家签名、时间戳等关键信息）锚定到区块链上，生成不可篡改的数字鉴定证书：

技术实现思路：鉴定结束后，服务端对录制文件计算 SHA-256 哈希；将哈希 + 鉴定结论摘要 + 专家数字签名打包为一笔链上交易（可选用联盟链降低 Gas 成本）；生成二维码形式的数字鉴定证书，收藏者可随时扫码验证鉴定记录的真实性。

7.4 多专家联席鉴定（多方视频会议模式）

升级到多方视频会议架构，允许多位不同领域的专家（如瓷器专家 + 书画专家 + 杂项专家）同时参与鉴定：

技术实现思路：基于 Express SDK 的多房间能力，所有专家加入同一房间；通过混流服务将多路专家画面和收藏者画面合成一路给观众端；专家之间通过 ZIM 群聊消息做私密讨论（不推送给收藏者端）；主持人（主鉴定师角色）控制发言权限和画面切换。

7.5 超低延迟直播 + 围观学习

对于有教育属性的鉴定活动（如博物馆公开鉴定、高校教学鉴定），可引入超低延迟直播模式（600-1000ms）让大量围观用户实时观看：

技术实现思路：收藏者推流至 ZEGO RTC 房间，启动混流任务将各路流合成为一路；通过 startPublishingStream 携带 CDN 推流参数将混流输出转推到 CDN；观众端使用普通 H5 播放器或 ZEGO 超低延迟直播播放器拉流观看；弹幕互动通过 Express sendBarrageMessage 或 ZIM ZIMBarrageMessage 实现。

八、总结

鉴宝直播是实时音视频技术垂直化落地的典型场景，其技术方案的核心要点可归纳为四条：

1. 画质优先，不追求高帧率：文物鉴定的核心是”看得清”而非”看得流畅”，在编码参数配置上应优先保证分辨率和单帧画质，适度降低帧率以节省编码开销。z264 自研编码器、弱光增强、超分辨率等能力是提升画质的关键抓手。
2. 多流架构是必然选择：单一摄像头无法覆盖鉴宝场景的全貌和细节双重需求，双摄同步推流 + 屏幕共享参考资料至少需要 3 路视频流在房间内流转。混流服务在多流输出整合中扮演关键角色。
3. 存证能力是系统级工程：录制不是简单的”开个录屏”，需要云端录制（服务端 API）+ SEI 帧级绑定 + 文件哈希校验 + 可选的区块链锚定，四层递进才能构成完整的证据链条。
4. 消息通道要有分工意识：鉴定流程控制（sendCustomCommand）、鉴定结论持久化（ZIM ZIMCustomMessage）、画面证据锚定（SEI）、观众互动（sendBarrageMessage）——四种消息在可靠性、频率、存储需求上截然不同，需要各归其位。

技术选型一句话总结：对于核心团队在 10 人以下的创业项目，选择 ZEGO Express SDK + ZIM SDK + 云端录制服务端 API 的组合，可以在 2 周内完成鉴宝直播 MVP 的音视频核心功能集成，将开发资源集中在业务流程和 AI 辅助能力等差异化层。