技术文章
-
WebRTC 语音激活检测(VAD)算法
语音激活检测最早应用于电话传输和检测系统当中,用于通信信道的时间分配,提高传输线路的利用效率。激活检测属于语音处理系统的前端操作,在语音检测领域意义重大。 但是目前的语音激活检测,…
-
在云游戏时代,「串流」如何实现“延时自由”?
云游戏作为产业内近年来炙手可热的话题,具有“云端运行、超高清、零延时、即点即玩”等众多特性。 随着 5G 时代的到来,以及中心云能力下沉至边缘云,高带宽、低延迟、高性能这些特性与云…
-
音视频生产关键指标:视频录制优化丨音视频工业实战
视频录制阶段除了开始采集音视频数据,做滤镜、美颜、特效等前处理,还会做音视频编码、封装、文件存储。在这个阶段我们主要关注以下性能指标: 录制成功率,在视频录制过程中没有发生错误的比…
-
使用OpenCV进行图像全景拼接
图像拼接是计算机视觉中最成功的应用之一。如今,很难找到不包含此功能的手机或图像处理API。在本文中,我们将讨论如何使用Python和OpenCV进行图像拼接。也就是,给定两张共享某…
-
如何捏出千人千面的虚拟形象,助力开发者快速实现虚拟形象!
虚拟形象是虚拟世界的核心资产,也是打造元宇宙社交的数字名片,从虚拟形象为切入点,ZEGO Avatar 基于强大的 AI 算法能力,可以为企业提供多元化风格虚拟形象制作及智能互动服…
-
AE(Auto Exposure)概念及基本原理[音视频基础知识]
本文大致介绍AE的概念及基本原理 如图所示,如果拍照时曝光过度画面整体会太亮而损失很多细节;而曝光不足时,画面会太黑也会让很多细节看不见,因此对于一张照片(视频)来说,曝光准确是非…
-
视频压缩足够好了吗?
AWS Elemental 的首席软件工程师 Ramzi Khsib 分享了他对视频编解码的现状和未来前景的看法,讨论了 AVC、HEVC、VVC 和 AV1 的市场采用情况,内容…
-
ECCV 2022 | PTSEFormer : 针对视频目标检测的渐进式时空增强模型
本工作由上海交通大学宋利教授带领的Medialab实验室成员产出,并被ECCV2022录用。本工作提出了一种基于Transformer的端到端视频目标跟踪算法框架。该框架使用上下文…
-
WebRTC常用架构(webrtc架构图解)
WebRTC虽然是一项主要使用p2p的实时通讯技术,本应该是无中心化节点的,但是在一些大型多人通讯场景,如果都使用端对端直连,端上会遇到很带宽和性能的问题,所以基于Webrtc的音…
-
ECCV 2022|码流信息辅助的压缩视频超分框架
本工作是由上海交通大学宋利教授带领的 Medialab 实验室与华为诺亚实验室合作产出,并被 ECCV2022 录用。该工作提出了一种利用视频的编解码信息来提升压缩视频超分辨率算法…
-
客户端实时超分,提升画质/码率的超级利器(实时互动RTI能力系列篇)
在短视频、直播、社交等并进的互动时代,“得画质者得人心”,超高清成为越来越多用户希望可以享受到的画质核心体验之一。 不管是音视频内容的生产商还是服务商,极致的画质体验已经成为获得用…
-
如何使虚拟现实体验更加真实?
本次IEEE VR 2022演讲总共介绍了 5 篇论文,在现有技术的基础上,分别针对不同方面进行了研究和改进,以增加用户在虚拟现实中的互动、感受和认知,以使 VR 体验更加真实。本…
-
OpenGL EGL:OpenGL 与设备的桥梁丨音视频基础
通过《一看就懂的 OpenGL 基础概念》一文,我们介绍了 OpenGL 的角色、渲染架构、状态机、渲染管线等内容,我们接着来看看它如何在设备上实现渲染。 EGL 我们这里只讨论 …
-
FFmpeg filter浅析
filterFFmpeg的滤镜模块AVFilter是一种以管道的方式对音视频进行滤镜(filter)操作以添加特效功能的框架(filter翻译为过滤器更为合适,下面统一以“过滤器”…
-
火山引擎 RTC (实时音视频)智能驾驶远程车控方案
火山引擎 RTC(实时音视频)智能驾驶远程车控方案基于超低时延、稳定可靠、安全的实时音视频和实时信令服务打造,提供平行驾驶中多路视频实时通信、远程控制指令、视频录制与回看以及车辆与…
-
音视频无缝续播的解决方案
现如今互联网最火的两大领域一个是人工智能,另一个就是以抖音、火山小视频为首的短视频APP。我们在使用这些短视频APP的时候又一个很好的体验就是从一个视频的播放从一个界面跳转到另外一…
-
ijkplayer编译实践(基于MacOS NDKr10e)
众所周知ijkplayer是基于FFmpeg开发的一款开源播放器,既然是开源,我们直接在项目中引用不就完事了么,为什么需要自己编译? 这是因为官方默认的编译做了一些功能上的阉割,比…
-
火山引擎 RTC 自研音频编码器 NICO 实践之路
1. 前言 随着互联网技术的不断发展,越来越多的人开始尝试使用或者依赖实时音视频产品解决团队沟通与协作问题。在通话过程中,我们时常会遇到因为网络波动(如拥塞、丢包、延时和抖动等)而…
-
FFMPEG中内存管理
参考n4.4.2版本中ibavutil/mem.c,主要代码早期放在libavcodec/utils.c,后来分拆过来,文件顶部注释中有FFMPEG初版作者大神Fabrice Be…
-
WebRTC 音视频通信实现流程
WebRTC(Web Real-Time Communication),即“网页即时通信”,WebRTC 是一个支持浏览器进行实时语音、视频对话的开源协议,目前主流浏览器都支持We…