ESP WebRTC 解决方案 v1.0 是乐鑫科技专为轻量级嵌入式设备设计的 WebRTC 实现的首个稳定版本。此版本提供了全面的协议栈，用于在ESP32 系列芯片上构建实时通信应用程序，支持音频/视频流、数据通道通信以及可定制的信令机制。
功能亮点
- 易于WebRTC应用开发的高级esp_webrtc API 通过RTP和SCTP
- 支持点对点媒体和数据通信
- 支持TURN、NACK处理、SCTP SACK
- 灵活的信令抽象，内置支持AppRTC、WHIP、OpenAI实时通信和本地HTTP SSE
- 音频/视频捕获和渲染模块，具有编解码器抽象
- 开箱即用支持关键音视频编解码器：H.264、MJPEG、OPUS、G.711、AAC
- 演示项目包括门铃、OpenAI聊天机器人、WHIP发布等
- 较少的依赖性（仅依赖libSRTP；所有其他模块均包含在ESP-IDF中）
- 轻量级且内存消耗低——专为嵌入式设备设计
WebRTC 核心组件
1. 高级 esp_webrtc API
esp_webrtc API 在内部管理 PeerConnection 状态和信令流程，使构建 WebRTC 应用程序变得简单。在大多数情况下，用户只需将其适配到自定义板卡和信令系统 — 其他一切都由 esp_webrtc 处理。
2. WebRTC 对等连接 (esp_peer)
esp_peer 抽象了 ESP32 设备上的 WebRTC PeerConnection 逻辑，并包含基于 libpeer 的默认实现 (peer_default)，具有以下特性：
- 完整的 TURN 支持 (RFC5766 和 RFC8656)
- 通过多个 ICE 候选项优化连接速度
- 支持控制方和被控制方角色
- 支持 RTP NACK 重传
- 支持 SCTP SACK 大数据传输
- 发送/接收分离任务以避免阻塞
- 编解码器支持：
- 视频：H.264 (基线配置)，MJPEG (仅数据通道)
- 音频：G.711 (PCMA/PCMU)，OPUS
3. WebRTC 信令 (esp_peer_signaling)
信令用于检测对等端并交换 SDP/控制命令。esp_peer_signaling 抽象了信令逻辑，允许轻松集成自定义信令而无需修改 WebRTC 核心堆栈。内置实现包括：
- esp_signaling_get_apprtc_impl：通过 WebSocket 的 AppRTC 信令
- esp_signaling_get_whip_impl：用于发布到 WebRTC 服务器的 WHIP 协议
- esp_signaling_get_openai_signaling：用于聊天机器人集成的 OpenAI 实时 API
- esp_signaling_get_http_impl：通过 HTTP SSE 的本地信令，用于测试
兼容性支持
- 支持芯片：ESP32, ESP32-S2, ESP32-S3, ESP32-P4
- ESP-IDF版本：推荐v5.4或更高版本
- 要求： 视频/音频处理需要PSRAM 取决于您的开发板，需要兼容的摄像头/音频驱动程序
更多信息，请参考：https://github.com/espressif/esp-webrtc-solution/releases/tag/v1.0.0
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/webrtc/58104.html
