技术文章
-
B站虚拟人与动作捕捉技术
随着虚拟开播在B站等平台的火爆,越来越多的用户和主播对虚拟直播产生了浓厚的兴趣。3D写实风格的虚拟人不仅视觉效果出众,还能提供沉浸式的直播体验,为用户带来全新的观看感受。如抖音推出…
-
Python 图像合并:利用 OpenCV 的强大功能
图像合并,也称为图像合成或混合,使我们能够通过无缝合并多个图像来创建视觉上引人注目的合成图像。Python 以其简单性和广泛的库生态系统而闻名,为实现图像合并技术提供了理想的平台。…
-
为什么使用 Node.js 进行实时通信?
在当今的数字世界中,实时通信是必不可少的。无论是聊天应用程序还是实时体育更新,实时通信都是保持用户参与的必要条件。Node.js 因其速度、可扩展性和可靠性而成为开发实时应用程序的…
-
WebSockets、SSE、gRPC、轮询和Webhooks的区别及使用
本文作者在自己的项目中总结了WebSockets、SSE、gRPC、HTTP Polling (短轮询和长轮询)和Webhooks的区别、优缺点、适合场景,对这些方法进行研究后得出了解决方案。
-
直播场景播放侧常见问题分析与实践经验
网易云信的播放器引擎基于 ijkplayer 开发,经过多次迭代和优化,已经在实际项目中得到了广泛的验证和应用。尽管我们不断努力优化引擎,但在实际工作中,仍然会遇到各类问题,并且直…
-
MABIM:多智能体强化学习算法的“炼丹炉”
编者按:现实世界中,许多问题和任务都是由多个参与者交互进行的,所以要想使用人工智能技术解决真实世界的问题,就需要更好地模拟这种复杂的环境,而这正是多智能体强化学习(MARL)的强项…
-
通过部署 CoTURN 服务器扩展和释放 WebRTC 技术的潜力
WebRTC 彻底改变了我们通过网络进行实时交互和通信的方式。然而,对于拥有复杂网络结构的大型企业来说,实施 WebRTC 的一大挑战在于穿越 NAT(网络地址转换)防火墙并确保通…
-
解读 Coturn 服务器的功能: 防火墙规避分析
防火墙在确保网络安全和保护敏感信息方面的广泛应用,促使人们开发出各种绕过防火墙的工具和技术。Coturn 服务器就是这样一种工具,它因具有穿透防火墙的能力而广受欢迎。在本文中,我们…
-
2023 年直播制作的未来展望
随着媒体行业的发展,我们知道更高效的工作方式将改变视频直播。本文畅想一下 2023 年直播制作的各种可能性。 5G + 专用网络切片 在谈论未来时,如果我们不重点关注 5G 创新,…
-
ffmpeg的函数调用知识点
av_dump_format 打印的内容是什么意思? av_dump_format 会打印出AVFormatContext的内容,打印的内容是什么意思? 我们使用av_dump_f…
-
用于学习图像压缩的多级空间上下文模型 | ICASSP 2023
先进的学习图像压缩方法以空间上下文模型为特色,与超先验方法相比,在率失真方面取得了巨大的改进。然而,自回归上下文模型需要串行解码,限制了运行性能。Checkerboard 上下文模…
-
WebRTC SDP 协议规范和内容解析
0 前言 SDP会话描述协议是一种很有历史的格式,在 20 世纪的会议系统中通常都是使用 SDP 格式的文本来交互多媒体通信双方的连接属性信息和媒体属性信息。 在今天 JSON 这…
-
如何在 WebRTC 中设置自适应抖动
在 WebRTC 中,自适应抖动缓冲器是默认启用的,因此无需明确设置。不过,您可以配置抖动缓冲器的参数,以针对特定使用情况优化其性能。 要调整自适应抖动缓冲区的参数,可以使用以下 …
-
基于可学习令牌的Transformer架构视频片段定位网络 | 李坤,郭丹,汪萌
研究意义 在视频理解任务中,视频片段定位是一个新兴且极具挑战的任务。给定一个自然语言描述的查询和一个未裁剪的视频,视频片段定位需要在这个未裁剪的长视频中找到符合这个描述的视频片段,…
-
从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练
从头开始创建机器人是不是很有挑战性?从零开始创建一个机器人并非及其困难,使用合适的工具,就能够轻松达到事半功倍的效果。从 0 到 1 搭建机器人系列文章将从第一步开始,拆解并串联起…
-
Vulkan中的同步机制,含显示和隐藏的同步控制
在前面的文章中,我们讲解了Vulkan的多线程设计理念,分析了其底层的机制。我们知道在Vulkan的设计中,尽量避免资源的同步竞争,但是在某些复杂场景和多线程优化过程中难免会遇到资…
-
WebRtc(M105)视频编码器选择代码分析
本文WebRtc 视频编码器选择代码分析,基于M105版本。 编码参数设置到WebRtcEngine模块里 WebRtcVideoChannel,会调用到这里: SelectSen…
-
WebRTC 实战: QT for Windows 多人音视频通话
在经过前面几篇文章对 WebRTC 的描述,相信已经不需再过多对它介绍了。前面几篇文章我们实现了 Web 、Android 端的音视频通话项目,该篇我们使用 QT UI 框架搭建…
-
微软为AR/VR空间音频提出了一种声音参数化建模
实时声学效果的建模和渲染是非常密集的计算。如果没有复杂和昂贵的硬件,就很难呈现出真实的声学效果。对真实或虚拟场景的声学特性进行建模,同时允许声源和听者的移动,这是一个困难的问题,特…
-
基于星链网络的实时多媒体服务:现实检测 | NOSSDAV 2023
最近,低地球轨道卫星网络(LSN)被认为是未来6G通信基础设施中高带宽和低延迟全球覆盖的关键和有前途的组成部分。SpaceX 的 Starlink 可以说是迄今为止最大、最可操作的…