技术文章
-
RTCP协议之SR和RR简介
RTCP:实时传输控制协议(Real Time Transport Control Protocol),主要是用来反馈音视频通信时的质量。 常用的RTCP 类型: 包类型 缩写 作…
-
WebRTC NACK 机制,Mediasoup对NACK的处理
由于webrtc所用的rtp协议底层是基于udp传输,所以并不能保证数据的可靠性。在发生丢包时,为了保证音视频的质量需要进行重传,而nack机制就是用来处理重传逻辑的,需要注意一点…
-
音视频开发入门:音频基础
什么是声音 介质振动在听觉系统中产生的反应。是一种波。因为是一种波,所以我们可以用频率、振幅等描述。 频率与振幅 有两个基本的物理属性:频率与振幅。声音的振幅就是音量,也叫作响度,…
-
在OpenCV中使用Canny边缘检测
边缘检测是非常常见和广泛使用的图像处理,对于许多不同的计算机视觉应用非常必要,如数据提取,图像分割,在更细粒度的特征提取和模式识别中。它降低了图像中的噪声和细节数量,但保留了图像的…
-
Omdia观察:电信运营商需要将边缘计算引入网络实现差异化
来自市场研究公司Omdia的最新报告写到,2023年2月14日,诺基亚和Kyndryl宣布将在移动专网和边缘计算方面的合作延长三年,重点关注工业4.0解决方案。这种关系的更新只是网…
-
ChatGPT遇上WebRTC:生成式AI对实时通信意味着什么
ChatGPT正在改变计算,并作为一种延伸,改变我们与机器的互动方式。下面是它将如何影响WebRTC。 ChatGPT 成为所有互联网应用程序中增长率最高的服务,在推出的头两个月内…
-
离线DRM:在离线环境下受DRM保护的内容
当今很大一部分观众也从广播电视转向观看基于互联网的节目,并通过互联网交付(OTT)。然而,当互联网无法使用,流媒体变得不可能时,该怎么办? 这就是离线DRM技术与受DRM保护的内容…
-
Metal 和 OpenGL ES 的差异,快速入门 Metal 开发
本文介绍Metal和Metal Shader Language,以及Metal和OpenGL ES的差异性,也是实现入门教程的心得总结。 Metal Metal 是一个和 Open…
-
语音合成模型NaturalSpeech 2:只需几秒提示语音即可定制语音和歌声
编者按:如果问华语乐坛近期产量最高的歌手是谁,“AI 孙燕姿”一定有姓名。歌迷们先用歌手的音色训练 AI,再通过模型将其他歌曲转换成以歌手音色“翻唱”的歌曲。语音合成技术是“AI …
-
RTC 体验优化的“极值”度量与应用
随着线上互动需求的增加,直播连麦、语音/视频聊天的应用越来越广泛。我们一直在说“追求用户的极致体验”,但是体验是一个抽象的概念,很难量化和统计。如何从用户的行为中得到所在场景的优化…
-
基于块的内容自适应视频编码 (CB-CAE),用于高质量和高速转码应用
高速转码是指在不牺牲视频质量的情况下快速高效地处理视频内容。 视频处理工作流程,包括转码、打包和CDN传输,是许多应用中最耗时的工作流程之一。高速转码解决了这个问题,使视频处理工作…
-
10分钟了解图像分割方法及原理
导读:本文介绍了图像分割领域的研究现状,对图像分割方法进行了系统性梳理。首先,介绍了五类传统的图像分割方法及其基本原理;然后,介绍了经典的基于深度学习的图像分割方法;最后,总结了传…
-
基于图神经网络的环状RNA生物标志物筛选预测算法
研究意义 环状RNA(circular RNA, circRNA)在人类复杂疾病发病机制和许多重要生物学过程中发挥不可或缺的作用。确定环状 RNA与疾病之间关联对于复杂人类疾病的诊…
-
AAAI 2023 Oral | 字节提出非对称图像重采样模型,JPEG、WebP上抗压缩性能领先 SOTA
字节跳动-火山引擎多媒体实验室针对图像重采样模型面向图像压缩的鲁棒性,设计了一种非对称的可逆重采样框架,提出新型图像重采样模型SAIN。 图像重采样 (Image Rescalin…
-
5G网络性能更差是怎么回事?
到目前为止,手机行业推出5G网络已有三、四年的历史。虽然业界仍在寻找能够巩固5G在蜂窝技术最高梯队中的地位的杀手级用例,但从本质上讲,这一代人正在做它应该做的事情——在某种程度上。…
-
如何使用Google Chrome调试WebRTC通话
WebRTC是一种开源技术,可为 Web 应用程序提供实时通信功能,并被设计为与最新的网络技术协同工作。在 WebRTC 的帮助下,现在可以创建高质量和低延迟的视频、音频和数据共享…
-
服务端解析 RTCP 协议组合包
RTCP实时传输控制协议(Real-time ControlProtocol)与RTP共同定义在1996年提出的RFC 1889中,是和 RTP一起工作的控制协议。不同类型的RTC…
-
PCC:重新建构面向持续高性能的拥塞控制 | NSDI 2015
TCP 以及基于 TCP 的变种数十年来一直遭受非常差的性能困扰,我们认为由于 TCP 家族底层根本性的架构缺陷,没有什么希望能够取得持续的高性能,比如硬连接的包级别的事件来控制反…
-
常见图片格式介绍
这篇文章首先梳理了图片压缩格式的发展历程,并从中挑选了当前主流图片格式展开介绍,主要介绍不同格式的压缩方式及压缩性能对比,以期大家对不同的图片格式能有更清晰的了解,结合需求选择更适…
-
使用图像数据进行特征工程
通过特征工程,我们立即想到的是表格数据。然而,我们也可以为图像数据获取特征。目标是提取图像的最重要方面。这样做将使我们更容易找到数据和目标变量之间的映射。 这意味着你可以使用更少的…