技术文章
-
PolySpatial技术:如何使用 Unity 在苹果 Vision Pro 上创建应用
2023 苹果全球开发者大会对 Unity 和整个 XR 生态来说都是意义重大的一刻,会上苹果宣布与 Unity 合作,帮创作者跨入空间计算的时代。Unity 已经开启 Unity…
-
谈谈 WebRTC TURN 身份验证
在 WebRTC 领域,TURN 服务器通常作为黑盒组件处理。我们需要它们,但不必定期进行配置。然而,17.7% 的 WebRTC 流量由 TURN 服务器处理。 什么是 TURN…
-
HyperDreamBooth: 用于文本到图像模型快速个性化生成的超网络
个性化生成已成为生成领域的重要需求之一,然而微调大模型的成本是很高的。为了克服这个困难,本文提出了 HyperDreamBooth——一种能够从单个人脸图像高效生成一组个性化权重的…
-
B站虚拟人与动作捕捉技术
随着虚拟开播在B站等平台的火爆,越来越多的用户和主播对虚拟直播产生了浓厚的兴趣。3D写实风格的虚拟人不仅视觉效果出众,还能提供沉浸式的直播体验,为用户带来全新的观看感受。如抖音推出…
-
Python 图像合并:利用 OpenCV 的强大功能
图像合并,也称为图像合成或混合,使我们能够通过无缝合并多个图像来创建视觉上引人注目的合成图像。Python 以其简单性和广泛的库生态系统而闻名,为实现图像合并技术提供了理想的平台。…
-
为什么使用 Node.js 进行实时通信?
在当今的数字世界中,实时通信是必不可少的。无论是聊天应用程序还是实时体育更新,实时通信都是保持用户参与的必要条件。Node.js 因其速度、可扩展性和可靠性而成为开发实时应用程序的…
-
WebSockets、SSE、gRPC、轮询和Webhooks的区别及使用
本文作者在自己的项目中总结了WebSockets、SSE、gRPC、HTTP Polling (短轮询和长轮询)和Webhooks的区别、优缺点、适合场景,对这些方法进行研究后得出了解决方案。
-
直播场景播放侧常见问题分析与实践经验
网易云信的播放器引擎基于 ijkplayer 开发,经过多次迭代和优化,已经在实际项目中得到了广泛的验证和应用。尽管我们不断努力优化引擎,但在实际工作中,仍然会遇到各类问题,并且直…
-
MABIM:多智能体强化学习算法的“炼丹炉”
编者按:现实世界中,许多问题和任务都是由多个参与者交互进行的,所以要想使用人工智能技术解决真实世界的问题,就需要更好地模拟这种复杂的环境,而这正是多智能体强化学习(MARL)的强项…
-
通过部署 CoTURN 服务器扩展和释放 WebRTC 技术的潜力
WebRTC 彻底改变了我们通过网络进行实时交互和通信的方式。然而,对于拥有复杂网络结构的大型企业来说,实施 WebRTC 的一大挑战在于穿越 NAT(网络地址转换)防火墙并确保通…
-
解读 Coturn 服务器的功能: 防火墙规避分析
防火墙在确保网络安全和保护敏感信息方面的广泛应用,促使人们开发出各种绕过防火墙的工具和技术。Coturn 服务器就是这样一种工具,它因具有穿透防火墙的能力而广受欢迎。在本文中,我们…
-
2023 年直播制作的未来展望
随着媒体行业的发展,我们知道更高效的工作方式将改变视频直播。本文畅想一下 2023 年直播制作的各种可能性。 5G + 专用网络切片 在谈论未来时,如果我们不重点关注 5G 创新,…
-
ffmpeg的函数调用知识点
av_dump_format 打印的内容是什么意思? av_dump_format 会打印出AVFormatContext的内容,打印的内容是什么意思? 我们使用av_dump_f…
-
用于学习图像压缩的多级空间上下文模型 | ICASSP 2023
先进的学习图像压缩方法以空间上下文模型为特色,与超先验方法相比,在率失真方面取得了巨大的改进。然而,自回归上下文模型需要串行解码,限制了运行性能。Checkerboard 上下文模…
-
WebRTC SDP 协议规范和内容解析
0 前言 SDP会话描述协议是一种很有历史的格式,在 20 世纪的会议系统中通常都是使用 SDP 格式的文本来交互多媒体通信双方的连接属性信息和媒体属性信息。 在今天 JSON 这…
-
如何在 WebRTC 中设置自适应抖动
在 WebRTC 中,自适应抖动缓冲器是默认启用的,因此无需明确设置。不过,您可以配置抖动缓冲器的参数,以针对特定使用情况优化其性能。 要调整自适应抖动缓冲区的参数,可以使用以下 …
-
基于可学习令牌的Transformer架构视频片段定位网络 | 李坤,郭丹,汪萌
研究意义 在视频理解任务中,视频片段定位是一个新兴且极具挑战的任务。给定一个自然语言描述的查询和一个未裁剪的视频,视频片段定位需要在这个未裁剪的长视频中找到符合这个描述的视频片段,…
-
从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练
从头开始创建机器人是不是很有挑战性?从零开始创建一个机器人并非及其困难,使用合适的工具,就能够轻松达到事半功倍的效果。从 0 到 1 搭建机器人系列文章将从第一步开始,拆解并串联起…
-
Vulkan中的同步机制,含显示和隐藏的同步控制
在前面的文章中,我们讲解了Vulkan的多线程设计理念,分析了其底层的机制。我们知道在Vulkan的设计中,尽量避免资源的同步竞争,但是在某些复杂场景和多线程优化过程中难免会遇到资…
-
WebRtc(M105)视频编码器选择代码分析
本文WebRtc 视频编码器选择代码分析,基于M105版本。 编码参数设置到WebRtcEngine模块里 WebRtcVideoChannel,会调用到这里: SelectSen…