技术文章
-
WebRTC开发,尽可能遵循 Google Meet 的涉及和架构【WebRTC认知篇8】
使用 WebRTC 进行开发时,请尽量遵循 Google Meet 的设计和架构方式。这就是对源代码给予爱和关注的地方。 这是我一遍又一遍地说的话——当你用 WebRTC 开发任何…
-
WebRTC 中视频编解码器的相关知识【WebRTC认知篇7】
对于 WebRTC,我们专注于有损媒体压缩编解码器。这些不会保留它们压缩的所有数据,只是因为我们也不会注意到它。 编解码器(语音和视频)的目的是压缩和解压缩需要通过网络发送的媒体。…
-
FOSDEM 2023|在 Linphone 中进行实时音视频会议
鉴于当前视频会议方案的高成本,Linphone 团队开发了选择性转发单元算法(SFU),取代了传统方案在服务器端解码再编码的方式,实现了一个由现代 SFU 服务器提供支持的基于 S…
-
WebRTC TURN 服务器是自建还是购买?【WebRTC认知篇6】
为您的WebRTC应用程序运行您自己的TURN服务器不一定是最好的决定。请确保您知道为什么要这样做。 您在运行您自己的TURN服务器吗?很好! 现在,你是否清楚并诚实地告诉自己,你…
-
WebRTC 群组视频通话的带宽使用【WebRTC认知篇5】
实施 WebRTC 群组通话时您将遇到的最大挑战是估算优化带宽使用。 视频是一种资源消耗。有人说 WebRTC 是一对一通话的绝佳解决方案,但在群组通话方面却有所欠缺。对他们来说,…
-
量子图像处理:量子概率图像编码 (QPIE) 和量子Hadamard边缘检测
人类的视力使我们能够看到附近的物体,并用我们的大脑对它们做出合乎逻辑的决定。开车时,我们用眼睛来观察交通灯、周围的车辆、行人和道路,从而决定在哪里停车、转弯或前进。虽然我们的大脑在…
-
Web3 游戏的帐户抽象
让玩家加入传统游戏的过程通常很简单。Web2 入门使玩家可以方便地使用他们现有的社交帐户,例如 Apple ID 或 Google 登录名。这些社交帐户使单点登录 (SSO) 易于…
-
Blenderbot:用于聊天机器人开发的卓越 AIML 模型
本文介绍Blenderbot 的安装、使用和应用——一种专门用于会话 AI 的预训练 AIML 模型,可以扩展到各种创新用例中。 介绍 在人工智能中,Blenderbot 属于会话…
-
谈谈AV1里面的参考帧
在基于残差编码时,参考帧用于进行预测编码获取预测像素值。参考帧选取是否准确,参考帧个数的多少,均将影响编码器的压缩性能。 在AV1里最大参考帧个数是7个(VP9里是3个,H.265…
-
WebRTC 音频处理模块实战(WebRTC音频处理流程)
在之前的文章中介绍了webrtc在windows下使用vs2019进行完整编译的过程,整个webrtc工程包含了非常多的模块,调试音频处理模块也是非常的不方便。Github上有很多…
-
WebRTC API音视频采集、录制和下载
WebRTC (Web Real-Time Communications) 是一项实时通讯技术,它允许网络应用或者站点,在不借助中间媒介的情况下,建立浏览器之间点对点的连接,实现视…
-
IM专题:分层架构IM系统(10)—Das领域模型设计
通过前面对 IM 分层架构系统的学习,我们已经了解了入口网关层 Entry、路由层 Router 和数据访问层 Das 的核心职责和逻辑设计,今天我们对 IM 系统最关键的数据结构…
-
WebRTC JitterBuffer之RTP包和GOP内帧排序
在音视频网络传输过程中,由于存在网路抖动情况,接收端视频接受不及时导致播放卡顿,为了消除帧间抖动情况,一个解决手段是JitterBuffer。JitterBuffer包括RTP包的…
-
WebRTC SDP反序列化
SDP是webrtc协商使用的文本格式,本质上是一行一行的字符串,通过匹配最强那面的字母确定信息类型。DP主要用来描述:设备支持的媒体能力,包括编解码器等;ICE候选地址 ;流媒体…
-
WebRTC 中 WebSocket 的使用
1. WebSocket 概念 WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议。意为:经过一次 TCP 握手就可以直接创建持久性连接,进而可实现服务端和客…
-
FOSDEM 2023 | Chromium中的现代摄像机处理
本文整理了 Michael Olbrich 在 FOSDEM 2023 对使用 xdg-desktop-portal 和 PipeWire 在 Chromium 中开发高级摄像机 …
-
如何找到并计数一幅图像中出现次数最多的物体
研究意义 单幅图像内共显著性检测旨在突出显示单幅图像中具有相似外观的同一类物体。对于人类视觉而言,这是一种常见的视觉能力,在我们的日常生活中经常使用。例如,在运动场上识别同一队的球…
-
美团视觉GPU推理服务部署架构优化实践
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战,美团视觉研发团队决定通过模型结构拆分和微服务化进行优化,他们提出了一种通用高效的部署架构,来解决这种常见的性能…
-
WebRTC 媒体传输之质量或延迟优化,两者不可兼得【WebRTC认知篇4】
您需要决定什么对您更重要——质量还是延迟,试图对两者进行优化注定会惨败。 我问那些想用WebRTC做直播服务的人的第一件事是: 你说的直播是什么意思? 这是一个基本问题,也是一个关…
-
WebRTC 减少了通信障碍并增加了创新【WebRTC认知篇3】
WebRTC 对 VoIP 所做的是降低了进入新供应商的门槛,并提高了创新水平和领域。 WebRTC 是通信史上的一个惊喜时刻。 它做了两件简单的事情,这对“我们”这些以前的 Vo…