用 ONNX Runtime 在 WebRTC 客户端中集成实时的 AI 语音降噪与视频超分辨率

在实时通信（RTC）领域，传统的音视频处理算法（如基于经典信号处理的 WebRTC NS 降噪、双线性插值缩放）正逐渐遭遇瓶颈。随着端侧算力的释放与轻量级神经网络（轻量化 CNN/RNN）的成熟，在客户端的媒体流水线（Media Pipeline）中直接嵌入 AI 模型已成为当前行业的主流演进方向。

本文将深度解析如何在 WebRTC 原生 C++ 客户端中，利用 ONNX Runtime（ORT）框架将实时 AI 语音降噪与视频超分辨率（VSR）无缝集成到媒体管道中，并分享工业级的高性能优化秘诀。

1. 为什么选择 C++ 与 ONNX Runtime？

在实时音视频交互中，延迟是决定体验的生死线：

音频帧 的处理窗口期通常只有 10ms。
视频帧 为了达到 30 fps 的流畅度，单帧的格式转换、AI 推理加回写必须控制在 15~30ms 以内。

C++ 提供了极致的内存管理与系统底层的拦截能力，能够最大程度避免垃圾回收（GC）开销。而 ONNX Runtime (ORT) 作为微软开源的高性能推理引擎，拥有三大核心优势：

极佳的跨平台性一套代码可以运行在 Windows、macOS、Linux、Android、iOS 以及 WebAssembly。
丰富的硬件加速通道（Execution Providers）完美适配 Windows DirectML、macOS CoreML、Linux TensorRT/CUDA 以及 NPU，让端侧 GPU/NPU 算力得以最大化利用。
极低的运行时开销C++ API 相比于其它高级语言，在内存占用和调用延迟上有着不可比拟的优势。

2. 媒体流水线拦截架构设计

要在 WebRTC 中应用 AI 算法，首先需要找到正确的“切入点”。WebRTC 的 C++ 源码中提供了底层的拦截接口，允许我们在编码和发送前对媒体数据进行拦截与二次加工。

[音频采集 (10ms)] ---> [AudioFrameProcessor] ---> (ONNX 语音降噪) ---> [Opus Encoder] ---> [RTP 发送]

[视频采集 (YUV)]  ---> [VideoSink / Filter]  ---> (ONNX 视频超分) ---> [H.264/AV1 Enc] ---> [RTP 发送]

音频拦截点：继承 webrtc::AudioFrameProcessor 并注册到 AudioDeviceModule，在原始 PCM 音频编码前进行处理。
视频拦截点：继承 rtc::VideoSinkInterface<webrtc::VideoFrame>，获取 YUV 原始帧后进行超分重建，随后重新包装丢回编码队列。

3. 实战：实时 AI 语音降噪（Audio Denoising）

实时语音降噪通常采用基于循环神经网络（RNN/GRU）的模型（如 RNNoise 的 ONNX 变体或 DTLN）。技术难点：这类模型是有状态的（Stateful）。因为语音具有连续性，我们必须维护模型在帧与帧之间的隐藏状态（Hidden States），否则音频会产生严重的爆音与断言。

C++ 核心代码实现：

#include <onnxruntime_cxx_api.h>
#include <vector>
class OnnxDenoiseProcessor : public webrtc::AudioFrameProcessor {
public:
    OnnxDenoiseProcessor(const std::string& model_path) {
        env_ = Ort::Env(ORT_LOGGING_LEVEL_WARNING, "AudioDenoise");
        Ort::SessionOptions session_options;
        session_options.SetIntraOpNumThreads(1); // 降噪模型较小，单线程避免线程频繁切换的开销
        session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

        session_ = std::make_unique<Ort::Session>(env_, model_path.c_str(), session_options);
        // 初始化 GRU 的 Hidden State 缓冲区
        hidden_state_.resize(hidden_size_, 0.0f);
    }
    // 重写 WebRTC 的音频拦截接口
    void SinkAudio(webrtc::AudioFrame* audio_frame) override {
        // 假定模型需要 16kHz, 10ms 帧 (160 采样点)。如果 WebRTC 采集的是 48kHz，需在此做重采样
        float* input_data = GetFloatAudioBuffer(audio_frame); 
        // 构建输入 Audio Tensor 与 Hidden State Tensor
        std::vector<int64_t> input_shape = {1, 1, 160};
        std::vector<int64_t> hidden_shape = {1, 1, static_cast<int64_t>(hidden_size_)};

        auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault);

        std::vector<Ort::Value> input_tensors;
        input_tensors.push_back(Ort::Value::CreateTensor<float>(
            memory_info, input_data, 160, input_shape.data(), input_shape.size()
        ));
        input_tensors.push_back(Ort::Value::CreateTensor<float>(
            memory_info, hidden_state_.data(), hidden_state_.size(), hidden_shape.data(), hidden_shape.size()
        ));
        // 推理
        const char* input_names[] = {"input_audio", "input_hidden"};
        const char* output_names[] = {"output_audio", "output_hidden"};

        auto output_tensors = session_->Run(
            Ort::RunOptions{nullptr}, 
            input_names, input_tensors.data(), 2, 
            output_names, 2
        );
        // 将降噪后的音频写回 AudioFrame
        float* denoised_data = output_tensors[0].GetTensorMutableData<float>();
        WriteBackToAudioFrame(denoised_data, audio_frame);
        // 关键步骤：更新并保存 Hidden State 以供下一帧使用
        float* next_hidden = output_tensors[1].GetTensorMutableData<float>();
        std::copy(next_hidden, next_hidden + hidden_size_, hidden_state_.begin());
    }
private:
    Ort::Env env_;
    std::unique_ptr<Ort::Session> session_;
    std::vector<float> hidden_state_;
    const size_t hidden_size_ = 128;
};

4. 实战：视频超分辨率（Video Super-Resolution）

视频超分辨率（如360P 360p→720p360p→720p）计算量巨大。由于 WebRTC 图像默认采用 YUV420 格式，而大多数 AI 模型的输入要求是归一化的 RGB Planar（1×3×H×W1×3×H×W），因此数据转换和对齐必不可少。

C++ 核心代码实现：

#include <onnxruntime_cxx_api.h>
#include <vector>
#include <algorithm>
// WebRTC 原生视频帧拦截类
class OnnxVideoSuperResolution {
public:
    OnnxVideoSuperResolution(const std::wstring& model_path) {
        env_ = Ort::Env(ORT_LOGGING_LEVEL_WARNING, "VideoSR");
        Ort::SessionOptions session_options;
        session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
        // 根据平台开启硬件加速
#if defined(_WIN32)
        // OrtSessionOptionsAppendExecutionProvider_DML(session_options, 0); // Windows 启用 DirectML
#endif
        session_ = std::make_unique<Ort::Session>(env_, model_path.c_str(), session_options);
    }
    // 图像处理流水线
    void ProcessFrame(const webrtc::VideoFrame& input_frame, webrtc::VideoFrame* output_frame) {
        int w = input_frame.width();
        int h = input_frame.height();
        int plane_size = w * h;
        // 1. 分配临时的 RGB Planar 内存 ([R R... G G... B B...]) 
        std::vector<float> rgb_planar(3 * plane_size);

        // 2. 高效 YUV420 -> RGB 转换并归一化至 [0.0, 1.0]
        YUV420ToRGBPlanar(input_frame, rgb_planar.data());
        // 3. 构建 Input Tensor
        std::vector<int64_t> input_dims = { 1, 3, h, w };
        auto memory_info = Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault);
        Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
            memory_info, rgb_planar.data(), rgb_planar.size(), input_dims.data(), input_dims.size()
        );
        // 4. 执行超分推理
        const char* input_names[] = {"input"};
        const char* output_names[] = {"output"};
        auto output_tensors = session_->Run(Ort::RunOptions{nullptr}, input_names, &input_tensor, 1, output_names, 1);
        // 5. 提取超分后的高分辨率尺寸
        auto output_shape = output_tensors[0].GetTensorTypeAndShapeInfo().GetShape();
        int out_h = static_cast<int>(output_shape[2]);
        int out_w = static_cast<int>(output_shape[3]);
        float* output_data = output_tensors[0].GetTensorMutableData<float>();
        // 6. 将输出的 RGB Planar 转换为 YUV 并重新写入 WebRTC 视频帧
        RGBPlanarToYUV420(output_data, out_w, out_h, output_frame);
    }
private:
    void YUV420ToRGBPlanar(const webrtc::VideoFrame& frame, float* rgb_planar) {
        // 获取 Y, U, V 平面数据，利用 YUV ➔ RGB 经典公式转换，并对齐至 [0.0, 1.0] 写入平面
        // (工业实践中，此部分需高度使用 SIMD 或 libyuv 库进行性能压榨，见下文优化策略)
    }
    void RGBPlanarToYUV420(const float* rgb_planar, int w, int h, webrtc::VideoFrame* out_frame) {
        // 超分后的 float 格式 RGB [0.0, 1.0] 缩放回 [0, 255]，转换回 YUV420 并写回 WebRTC 缓冲区
    }
    Ort::Env env_;
    std::unique_ptr<Ort::Session> session_;
};

5. 工业级避坑指南与性能榨汁指南

如果你直接将上述代码编译并跑在 720p720p 以上的视频通话中，大概率会遇到卡顿和掉帧。要想在生产环境中流畅运行，必须对媒体管道实施以下“硬核优化”：

1.采用 `libyuv` 榨干 CPU 转换性能

在视频超分中，最大的瓶颈往往不是 AI 推理本身，而是 CPU 格式转换（YUV420 ↔ RGB）。手写嵌套循环效率极低。

正确姿势在 C++ 中引入 Google 的 libyuv 库。它针对 x86 (AVX2/SSE) 和 ARM (NEON) 架构进行了高度的汇编级优化，图像色彩空间转换耗时可瞬间减少 80% 以上。

2. 实现 GPU 零拷贝（Texture Sharing）

如果客户端开启了 WebRTC 硬件解码（如 Windows 上的 DXVA2/D3D11，或 macOS 上的 VideoToolbox），解码后的图像数据本就作为纹理（Texture）存在于显存中。

正确姿势千万不要将显存数据 Download 到 CPU 内存，然后再打包送给 GPU 推理。应该直接将 D3D11 纹理或 Metal 纹理通过 DirectML 或 CoreML 绑定（Binding）到 ONNX Runtime。整个超分流程在显存内部闭环，实现完全的零拷贝（Zero-Copy），从而彻底消除 PCIe 总线的带宽瓶颈。