Netflix 开发了一种自动质量控制 (QC) 方法，用于检测视频中的像素级伪影。
该解决方案旨在减少人工审核的需要，它能识别被称为热像素（hot pixels）的亮点，从而在制作过程的早期阶段进行干预，避免后期阶段昂贵而耗时的修正。
像素级错误一般分为两类：热像素（表现为单帧亮点）和死像素（对光无响应）。Netflix 之前曾开展过检测死像素错误的工作，现在已将重点转向较难手动标记的热像素。
该公司开发了一种神经网络，能够实时、大规模地精确定位像素级伪影，并实现近乎完美的召回率。检测需要识别大图像中的小尺度精细特征，并能够区分伪影和具有类似伪影特征的自然亮像素，例如小光点、捕捉光和其他壮观的反射。
为了实现这一目标，Netflix 设计了一个模型，以全分辨率处理大规模输入，而不是在预处理过程中对其进行下采样，从而确保像素级错误仍然可检测。每次分析五个连续帧，为网络提供所需的时间上下文，以确定明亮物体是故意造成的还是故障造成的。为每个帧生成一个输入级像素错误发生情况的连续值图。在训练中，通过减小密集的像素级损失函数来优化这些图。
在干扰期间，该算法使用置信度阈值对模型输出进行二值化处理，然后执行连通域标记以定位错误簇。错误位置被精确映射并报告，整个过程在单个 GPU 上实时进行。
为了创建逼真的训练样本，Netflix 开发了一个合成像素误差生成器来模拟现实世界的伪影。这些伪影被叠加到来自 Netflix 内容目录的帧上。虽然合成数据对于训练至关重要，但该模型需要多次循环使用新鲜的真实素材来确保精度。迭代改进如下：
- 推理：在以前未见过的镜头上运行模型，不添加任何合成热像素。
- 消除误报：手动检查检测并将误报标签清零，这比从头开始标记热像素更容易。
- 微调和迭代：在精炼数据集上进行微调并重复直至收敛。
持续改进的过程旨在减少误报，保持高灵敏度，同时最大限度地减少由于处理的内容量而必然发生的错误警报的数量。
Netflix 表示，之前需要耗费数小时进行人工审核，现在审核可能只需几分钟即可完成。该公司正在通过实际部署和与合作伙伴的合作不断完善其功能，以加深对像素错误如何影响观看体验的理解。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/60554.html
