基于 SRT 协议的安全推流整合方案在云手机产品中的应用

为落实国家“十四五”数字经济与新型基础设施建设规划,遵循数据安全法和个人信息保护法的相关要求,推动云手机安全传输技术国产化与标准化,针对云手机音视频流传输的高丢包、低安全与延迟等问题,研发了基于SRT协议的云手机安全推流方案,支撑政务移动办公、云游戏等场景的规模化落地。通过融合SRT协议的ARQ/FEC抗弱网机制,采用加密链路,结合硬件编解码与时间戳同步优化端到端延迟,为云手机提供高可靠、强安全的传输底座,实现端到端的移动信息安全,助力新基建战略下行业数字化转型。

论文地址:https://image.c114.com.cn/file/ys2025-09-05.pdf

01 概述

随着移动互联网与云计算技术的深度融合,云手机作为突破终端硬件限制、实现算力云端化的新兴形态,正加速赋能远程办公、云游戏、工业控制等实时交互场景[1-2]。然而,云手机的核心能力——云端音视频流的高效安全传输,仍面临三重挑战:其一,公网环境下高丢包率与随机抖动导致画面卡顿、音画割裂,严重损害用户体验;其二,敏感操作数据,如金融交易、隐私会话等,在传输过程中易遭窃取或篡改,传统流媒体协议无法充分保证端到端的安全防护;其三,现有技术方案难以平衡低延迟与高可靠性的要求,制约了政务协同办公、远程视频会议等高实时性场景的规模化应用[3-5]

针对上述问题,本文提出基于SRT(Secure Reliable Transport)协议的云手机安全推流整合方案,通过多层级抗弱网传输、动态端到端加密及自适应同步控制,构建云手机音视频流传输的全链路优化体系。该方案创新性地融合SRT流传输协议的ARQ重传、FEC冗余与AES-256加密机制[6],在保障数据隐私的同时,提升抗丢包能力,并降低端到端延迟,为高安全、强实时的云端交互场景提供可靠技术支撑。

02 云手机安全推流整合方案设计

云手机安全推流整合方案的核心是定义一套交互协议,关键部分由服务端和客户端构成。服务端运行在云手机的Android系统上,客户端运行在移动终端上。客户端和服务端通过基础网络连接,比如4G、5G、Wi-Fi等,实现高效的流媒体传输和控制指令传输,可以实现用户的远程操控和交互。云手机安全推流架构如图1所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图1 云手机安全推流架构

云化交互协议(Client侧和Server侧)是核心的实现层,Client侧和Server侧交互实现音视频从云手机下行到终端上,同时在终端上采集和各种模拟硬件控制流数据、文件数据等上传到云手机上。

基于云化交互协议,客户端App需要实现用户交互界面,服务端实现无界面的后台应用,最终完成端到端的远程交互。同时,提供自动寻址服务,协助客户端实时找到可用的设备,客户端和服务端通过各种网络环境,实现即时的互联互通。

因此,云手机产品实际包含服务端和客户端2个部分,服务端主要功能包括账号登录、屏幕和音频数据抓取、基于云手机推流协议进行推流、接收云手机客户端发来的各种模拟输入事件等;客户端主要功能包括用户登录、连接管理、播放来自云手机推流协议的音视频帧、采集本地的触屏、麦克风、摄像头指令和数据等。

03 SRT流传输协议

3.1 基本概念

SRT流传输协议[7-8]是由Haivision创建的基于UDP协议的数据传输协议,旨在通过不可预测的网络提供高质量的视频和音频,并提供纠错、低延迟、可靠性和安全性等高级功能。SRT协议能够在不可预测的网络上(即互联网)安全可靠地传输数据,理论上任何数据类型都可以通过SRT协议传输,但在低延迟亚秒级视频流的传输场景下,SRT协议是最理想的选择。

SRT协议核心特性如下。

a)低延迟。通过优化传输机制,实现端到端的低延迟(通常在120~400 ms)。

b)抗丢包。使用ARQ自动重传请求和FEC前向纠错技术,有效应对网络丢包。

c)安全性。支持AES加密,确保数据传输的安全性。

d)可靠性。通过错误恢复机制,保证数据的完整性和可靠性。

e)自适应码率。能够根据网络状况动态调整传输参数。

3.2 通信过程

SRT流传输协议的通信过程如图2所示。主要包括握手阶段、数据传输阶段和连接终止阶段。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图2 SRT流传输协议的通信过程

a)握手阶段。通信的发起方向接收方发送握手请求,开始建立连接;接收方收到握手请求后,会为发起方返回一个基于主机、端口和时间的Cookie;发起方收到Cookie后,发起配置请求,进一步协商连接参数;接收方响应配置请求,确认对端延迟和延迟值等参数回复。

b)数据传输阶段。建立连接后,发起方开始传输音视频或其他媒体数据。数据以UDP包的形式传输,每个数据包都添加了SRT头部信息,如序列号、时间戳等;接收方在收到数据包后会向发起方反馈媒体响应信号ACK,发起方收到媒体响应信号ACK后会回复媒体响应的响应信号ACKACK。接收方根据ACK发送时间和ACKACK收到时间的差值计算往返时间RTT,并将往返时间信息通过ACK发送给发起方。

c)连接终止阶段。当数据传输完成后,发起方会向接收方发起Shutdown请求,表示要关闭连接;接收方收到Shutdown请求后,会关闭连接。通常情况下,由发起方发起Shutdown请求,接收方不会主动发起关闭。

3.3 安全性

SRT数据传输安全主要体现在2个方面,一个是数据自身的加密,一个是结合防火墙的网络安全策略。

a)数据加密。SRT流传输协议支持使用计数模式下的AES-128或AES-256CTR对传输的数据进行加密,以此实现端到端的数据安全性。

b)网络安全策略。针对某些企业或组织运用防火墙保护私有网络安全的策略,SRT协议使用的握手过程支持出站连接,而不需要在防火墙中打开危险的永久外部端口,从而维护了企业的安全策略。

3.4 SRT丢包恢复与拥塞控制

3.4.1 丢包恢复机制

通信中常用纠错机制来恢复网络传输中的数据,通常有2种策略:ARQ自动重传请求和FEC前向纠错。前期的SRT协议选择通过ARQ的方式来实现丢包恢复机制,在1.4版本后添加了FEC前向纠错机制,通过在传输的数据流中加入一定比例的前向纠错数据,当发生丢包时,接收端可根据前向纠错数据,恢复丢掉的数据包。SRT协议通过结合ARQ和FEC技术,有效地应对网络丢包问题,确保数据的可靠性和完整性。

3.4.2 拥塞控制

SRT协议的拥塞控制算法不同于基于窗口的TCP拥塞控制算法,而是基于窗口和基于速率的混合拥塞控制算法,具有可扩展的拥塞控制框架、开源的代码、以及拥塞控制的C++类架构,支持开发者派生专用的拥塞控制算法。

SRT协议提供网络往返时延、接收端缓存、接收端数据比特流等信息,编码端可以根据此类信息判断网络的状态,动态调整编码参数,从而控制数据的流量。当接收到的ACK消息能表明当前网络比较健康时,编码再恢复原有的高质量视频,从而提高传输体验效果。

3.5 SRT流传输协议在云手机安全推流场景中的具体优势

SRT流传输协议在云手机安全推流场景中具有如下优势。

a)高可靠性。在云手机推流场景中,网络条件可能并不稳定,SRT协议的抗丢包能力能够确保云手机流畅的推流体验。

b)低延迟。云手机推流通常用于实时互动场景,SRT协议的低延迟特性能够提供更好的用户体验。

c)安全性。SRT协议的内置加密功能可以保护推流数据的安全,防止数据泄露或篡改。

d)适应复杂网络。SRT协议能够自动适应高丢包率、高延迟等复杂的网络环境,减少人工干预。

04 云手机服务端方案

4.1 云手机服务端屏幕流推送

云手机[9-11]服务端屏幕流推送主要包含2个服务:第1个服务是Socket服务,目的是与后台管理建立长链接接收指令;第2个服务是SRT服务,该服务继承Android中Service接口实现。云手机端屏幕流推送流程如图3所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图3 云手机端屏幕流推送流程

a)后台管理发送后台管理指令至Socket服务。

b)Socket服务控制SRT服务。

c)启动SRT服务,等待客户端连接。

d)客户端连接成功后,开始录制虚拟屏幕。

e)进行视频编码,编码完成后发送屏幕和声音编码之后的数据。

f)客户端接收到屏幕和声音的数据包。

g)屏幕流推送过程中,实时监控网络变化,动态修改编码的码率,完成网络自适应。

4.2 云手机服务端音频流推送

通过麦克风或虚拟设备采集PCM音频数据,采用低延迟编码器压缩,SRT协议封装并启用AES加密、ARQ重传及FEC纠错,动态调整码率适配网络波动。服务端通过多路复用推送,保障音频安全可靠传输至客户端播放,适用于实时通话、远程会议等高交互场景,兼顾安全性与弱网稳定性。具体流程如图4所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图4 云手机服务端音频流推送流程

a)音频采集和编码。通过麦克风或虚拟音频设备采集PCM原始音频,使用低延迟编码器进行音频编码。

b)SRT封装与传输。启用AES-256加密,防止数据被窃听。设置ARQ最大重传次数和延迟窗口,将编码后的音频流分割为SRT数据包,添加序列号和时间戳。

c)网络传输。利用SRT协议的拥塞控制动态调整发送速率,同时结合FEC前向纠错冗余包,保证当网络丢包率>8%时自动启用。

d)客户端处理。客户端进行SRT接收和解封装,通过硬件/软件方式完成音频解码,音频实现播放渲染。

05 云手机客户端方案

5.1 云手机客户端视频流解码播放

云手机服务端将编码后的视频流通过SRT协议传输,客户端接收解封装后,利用硬件/软件解码并同步渲染,实现高可靠低延迟播放,支持动态网络优化。

具体流程如图5所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图5 云手机客户端视频流解码播放流程

a)SRT客户端接收与解封装。监听SRT端口,接收数据包,解封装SRT协议,提取视频裸流,SRT协议自动处理丢包重传请求。

b)视频解码。优先使用硬件解码方式,调用平台API(如Android MediaCodec)。备选软件解码方式,通过使用FFmpeg的avcodec库实现解码。

c)横竖屏切换。视频解码后,宽高发生变化,探测到横竖屏切换,将新的宽高设置到SurfaceView,即可完成横竖屏。

d)图像渲染与同步。将解码后的YUV/RGB帧转换为纹理,通过渲染引擎(如OpenGL ES)显示到屏幕,根据显示时间戳PTS同步音视频。

e)网络自适应。监控网络延迟和抖动,动态调整缓冲区大小,反馈服务端调整码率。

5.2 云手机客户端音频流解码播放

云手机服务端将音频编码后通过SRT协议传输,云手机客户端解封装并解码为PCM,动态缓冲后进行渲染,然后通过AudioTrack播放,实现端到端高保真音频传输。具体流程如图6所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图6 云手机客户端音频流解码播放流程

a)SRT客户端接收与解封装。监听SRT端口,接收并重组音频数据包,SRT协议自动处理丢包重传。

b)音频解码。优先使用硬件解码方式完成音频解码;备选软件解码方式为通过FFmpeg的libopus或libfdk-aac实现解码。

c)音频渲染与播放。将解码后的PCM数据写入音频缓冲区,动态调整缓冲区大小,控制播放节奏,避免卡顿或断流。

06 云手机音视频流同步

手机客户端拉起屏幕流和声音流,正常情况下,音频和视频播放是完全匹配的。但是由于网络的不确定性,很可能导致音频和视频不同步。为了保证云手机操作流畅,音频与视频同步,通过统一时间戳(PTS/DTS)和动态时钟同步实现音画对齐。

服务端在采集音频和视频时,基于同一时钟源为每帧打同步时间戳,封装为SRT数据包,携带时间戳和序列号,通过SRT协议完成抗丢包传输和接收。客户端接收到音视频流的SRT数据包,进行音频和视频解包,解包后音频和视频进行时间戳对齐,若音视频帧时间戳偏差小于20 ms,则音视频同步渲染,保持音视频处于最佳同步状态;若音视频帧时间戳偏差在20~50 ms,则根据网络抖动动态调整缓冲区,视频渲染节奏微调±5%,平滑过渡到音视频同步状态;若音视频帧时间戳偏差大于50 ms,则通过丢帧或插帧进行音视频同步修正,快速恢复音视频同步。具体流程如图7所示。

基于 SRT 协议的安全推流整合方案在云手机产品中的应用
图7 云手机音视频同步实现流程

a)时间戳同步。在服务端,使用硬件时钟或高精度系统时钟生成时间戳,嵌入音视频元数据。在客户端解析时间戳,以音频PTS为基准,计算视频帧展示时间。

b)同步策略。当视频快于音频时,视频帧将进行等待或重复渲染。当视频慢于音频时,丢弃滞后视频帧,或进行加速解码追赶。

c)SRT优化。设置相同延迟窗口,确保音视频流网络抖动一致。同时,启用基于时间戳的投递模式,按时间戳顺序投递数据包,实现音视频同步效果的优化。

07 云手机安全推流方案的优势

云手机安全推流方案具有如下优势。

a)抗弱网与低延迟传输。

(a)SRT协议特性。通过ARQ自动重传请求和FEC前向纠错技术对抗网络丢包,保障弱网下音视频流连续稳定,延迟可控至50~200 ms,满足远程移动办公和云游戏场景下实时操控需求。

(b)动态码率调整。结合网络状态实时调整码率,避免卡顿或画质损失。

b)端到端安全加固。

(a)加密传输。支持AES-256或国密算法加密流数据,防止中间人攻击与数据窃取,符合金融、医疗等高敏感场景合规要求。

(b)身份鉴权。双向认证(DTLS/TLS)确保连接合法性,阻断非法设备接入。

c)高可靠与弹性架构。

(a)多路径传输。SRT支持多链路聚合(例如5G+Wi-Fi),单路故障自动切换,保障业务连续性。

(b)云端负载均衡。服务端自动扩展推流节点,支持百万级并发,适配云手机大规模商用。

d)精细化数据控制。

(a)水印防泄密。推流画面实时叠加动态水印,溯源追责。

(b)权限隔离。基于角色的流访问控制RBAC,限制未授权录屏、转发。

e)跨平台兼容性。

(a)协议通用性。SRT支持Android/iOS/Windows/Linux全平台,适配云手机多终端接入需求。

(b)灵活编解码。兼容H.264/H.265/Opus等低码率高画质方案,降低占用带宽30%以上。

08 云手机安全推流方案的应用场景

云手机安全推流方案主要有如下应用场景。

a)远程移动办公。通过基于SRT协议的云手机安全推流方案,企业员工可以使用云手机访问公司内部资源并进行远程办公操作,提高工作效率和业务连续性。

b)在线游戏。基于SRT协议的云手机安全推流方案为游戏开发者和玩家提供了全新的体验。玩家无需拥有高端硬件设备即可畅玩各类大型游戏,并通过云手机将游戏画面实时推送给观众。

c)高清视频会议。在视频会议中,基于SRT协议的云手机安全推流方案可以确保视频画面的高清流畅传输,提高会议效率和沟通效果。

d)直播行业。主播可以通过云手机进行直播推流,实现多平台同步直播和高清画面传输。

结束语

基于SRT协议的云手机安全推流方案通过端到端加密、动态抗弱网与低延迟传输,解决了云端音视频流面临的数据泄露、卡顿与交互滞后等核心问题。不仅为政务、金融、医疗等高安全场景提供合规保障,更通过SRT流传输协议优化弱网适应性,有效降低端到端延迟,推动政务移动办公、云游戏等应用大规模落地。未来结合AI和边缘计算,云手机安全推流方案将进一步拓展至元宇宙、工业互联网等领域,为云端交互生态构建安全高效的技术底座。

参考文献

[1] 苗春雨,杜廷龙,孙伟峰. 云计算安全关键技术、原理及应用[M].北京:机械工业出版社,2023:4-11.

[2] 徐保民,李春艳. 云安全深度刨析技术原理及应用时间建[M].北京:机械工业出版社,2024:48-58.

[3] 李学峰. 云原生安全[M].北京:机械工业出版社,2022:20-28.

[4] 刘化君,郭丽红 . 网络安全与管理[M]. 北京:电子工业出版社,2021:3-11.

[5] 刘文懋,江国龙,浦明,等.云原生安全攻防实践与体系构建[M].北京:机械工业出版社,2022:125-133.

[6] 刘仲驰. 基于国密算法的通信数据加密传输方法[J].数字通信世界,2023(3):24-26. 

[7] ISAKA K .SRT(Secure Reliable Transport)[J].The Journal of The Institute of Image Information and Television Engineers,2020,74(1):102-104.

[8] 葛宝尧.基于 SRT 协议的流媒体传输系统的研究与实现[D].西安:西安电子科技大学,2021.

[9] 吴佳华.面向数据安全的云端服务系统设计与实现[D].广州:华南理工大学,2023. 

[10] 罗仁杨.基于百度云服务的 Android 云终端设计及实现[D]. 成 都:电子科技大学,2016.

[11] 曹晓芳. 基于H.264的手机视频监控客户端的设计与实现[D].南 京:东南大学,2012.

作者简介

陈飔,毕业于北京理工大学,高级工程师,硕士,主要从事移动终端信息安全、云手机安全业务相关研究工作;

宁静,毕业于天津大学,工程师,硕士,主要从事终端安全、密码通信安全、数据安全等安全领域的技术研究工作;

孟小燕,毕业于东北师范大学,学士,主要从事移动终端、桌面端、Web端前端研发工作;

侯玉华,毕业于沈阳工业大学,高级工程师,硕士,主要研究方向为移动信息安全、终端操作系统;

王德霖,毕业于中国民航大学,工程师,学士,主要从事航空发动机信息质量管理的技术研究工作。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论