技术文章

本文介绍我们最新发表在 ACM MM2022 会议的工作，使用多尺度由粗到精 transformer 的视频插帧方法。在该论文中，构建了一个两阶段的多尺度视频插帧结构，分别主要进行…

什么是自定义视频渲染 自定义视频渲染指的是 SDK 向外部提供本地预览及远端拉流的视频帧数据，供用户自行渲染。 当开发者业务中出现以下情况时，推荐使用 即构实时音视频SDK 的自定…

前言 今天突然发现自己对 WebRTC 的屏幕分享的底层工作原理有一个误解，之前，我一直以为屏幕分享就是简单的采集桌面的画面，然后编码发送就行了。实时上并不是如此简单，本文就来为大…

一、YUV和YCbCr 1、定义 YUV，是一种颜色编码方法，常使用在各个视频处理组件中。Y表示明亮度（Luminance或Luma），也就是灰阶值，U和V表示的则是色度（Chro…

现在各大互联网APP都标配电商直播带货了，没有直播带货开发经验都感觉自己跟不上技术的进步。今天以Android版本为例快速实现一个电商直播带货APP，一起深入理解整个直播带货开发流…

语音激活检测最早应用于电话传输和检测系统当中，用于通信信道的时间分配，提高传输线路的利用效率。激活检测属于语音处理系统的前端操作，在语音检测领域意义重大。 但是目前的语音激活检测，…

云游戏作为产业内近年来炙手可热的话题，具有“云端运行、超高清、零延时、即点即玩”等众多特性。 随着 5G 时代的到来，以及中心云能力下沉至边缘云，高带宽、低延迟、高性能这些特性与云…

视频录制阶段除了开始采集音视频数据，做滤镜、美颜、特效等前处理，还会做音视频编码、封装、文件存储。在这个阶段我们主要关注以下性能指标： 录制成功率，在视频录制过程中没有发生错误的比…

图像拼接是计算机视觉中最成功的应用之一。如今，很难找到不包含此功能的手机或图像处理API。在本文中，我们将讨论如何使用Python和OpenCV进行图像拼接。也就是，给定两张共享某…

虚拟形象是虚拟世界的核心资产，也是打造元宇宙社交的数字名片，从虚拟形象为切入点，ZEGO Avatar 基于强大的 AI 算法能力，可以为企业提供多元化风格虚拟形象制作及智能互动服…

本文大致介绍AE的概念及基本原理 如图所示，如果拍照时曝光过度画面整体会太亮而损失很多细节；而曝光不足时，画面会太黑也会让很多细节看不见，因此对于一张照片（视频）来说，曝光准确是非…

AWS Elemental 的首席软件工程师 Ramzi Khsib 分享了他对视频编解码的现状和未来前景的看法，讨论了 AVC、HEVC、VVC 和 AV1 的市场采用情况，内容…

本工作由上海交通大学宋利教授带领的Medialab实验室成员产出，并被ECCV2022录用。本工作提出了一种基于Transformer的端到端视频目标跟踪算法框架。该框架使用上下文…

WebRTC虽然是一项主要使用p2p的实时通讯技术，本应该是无中心化节点的，但是在一些大型多人通讯场景，如果都使用端对端直连，端上会遇到很带宽和性能的问题，所以基于Webrtc的音…

本工作是由上海交通大学宋利教授带领的 Medialab 实验室与华为诺亚实验室合作产出，并被 ECCV2022 录用。该工作提出了一种利用视频的编解码信息来提升压缩视频超分辨率算法…

在短视频、直播、社交等并进的互动时代，“得画质者得人心”，超高清成为越来越多用户希望可以享受到的画质核心体验之一。 不管是音视频内容的生产商还是服务商，极致的画质体验已经成为获得用…

本次IEEE VR 2022演讲总共介绍了 5 篇论文，在现有技术的基础上，分别针对不同方面进行了研究和改进，以增加用户在虚拟现实中的互动、感受和认知，以使 VR 体验更加真实。本…

通过《一看就懂的 OpenGL 基础概念》一文，我们介绍了 OpenGL 的角色、渲染架构、状态机、渲染管线等内容，我们接着来看看它如何在设备上实现渲染。 EGL 我们这里只讨论 …

filterFFmpeg的滤镜模块AVFilter是一种以管道的方式对音视频进行滤镜（filter）操作以添加特效功能的框架（filter翻译为过滤器更为合适，下面统一以“过滤器”…

火山引擎 RTC（实时音视频）智能驾驶远程车控方案基于超低时延、稳定可靠、安全的实时音视频和实时信令服务打造，提供平行驾驶中多路视频实时通信、远程控制指令、视频录制与回看以及车辆与…