多模态算法在AIGC视频生成中的应用

随着抖音、快手、B站等视频平台的崛起，视频内容正占据着用户越来越多的时间。对于各个平台来说，内容视频化趋势明显。对于之家来说，也需要尽快完成在该赛道的技术工作。对于AIGC视频生成来说，对于视频的理解、分类是其中最为重要的算法环节，文本主要介绍多模态算法在AIGC-视频生成中的应用。

技术方案

1 整体网络结构

本技术方案是旨在充分学习视频多模态（文本、音频、图像）的语义特征，同时克服 youtube-8m数据集样本极不均衡和半监督的问题。如Figure 1所示，整个网络主要由前面混合多模态网络（mix-Multmodal Network）和后面的图卷积网络（GCN）组成。mix-Multmodal Network 由三个差异化的多模态分类网络构成，具体差异化参数在Table1中。

	Bert	NeXtVLAD	NeXtVLAD
	Layers	Cluster Size	Reduction
Multimodal Net(1)	12	136	16
Multimodal Net(3)	12	112	16
Multimodal Net(3)	6	112	8

Table 1. 三个 Multimodal Net 的参数

2 多模态网

如图Figure 2所示，多模态网络主要理解三个模态（文本、视频、音频），每个模态都包含三个过程：基础语义理解、时序特征理解、模态融合。其中，视频和音频的时序特征理解模型是NextVLAD，而文本的时序特征理解模型为Bert。

多模态特征融合，我们采用的是SENet。SENet网络的前处理需要将各个模态的特征长度强行压缩对齐，这样会导致信息丢失。为了克服这个问题，我们采用了多Group的SENet的网络结构。实验表明，多个group的SENet网络相较于单个SENet 学习能力更强。

3 图卷积

由于youtube-8m粗粒度标签全部标注，细粒度标签只标注了部分数据。因此，引入 GCN来进行半监督分类任务。基本思想是通过在节点之间传播信息来更新节点表示。对于多标签视频分类任务，标签依赖关系是一个重要信息。我们使用标签之间的条件概率将标签相关信息引入我们的建模。基于Youtube-8M 数据集粗粒度标签，我们首先统计每个标签的出现次数，得到一个矩阵 N ∈ R^c。c是所有类别的数量。然后我们统计所有标签对的并发次数，这样就可以得到并发矩阵 M ∈ R^cxc。最终得到条件概率矩阵 P ∈ R^cxc ：

P_ij表示标签 i 出现时标签 j 的出现概率。但是，来自训练和测试数据集的共现矩阵可能并不完全一致，数据集标签也不是 100% 正确。另一方面，一些罕见的共现对我们来说可能不是真正的关系，可能只是噪音。因此，我们可以使用阈值 γ 将 P_ij 过滤到 P’_ij：

在我们的任务中，每个标签将是图（graph）的一个节点（node），两个节点之间的线表示它们的关系。所以我们可以训练一个矩阵来表示所有节点的关系。以从我们的数据集中提取的一个简化的标签相关图 Figure 3为例，Label BMW –> Label Car，表示当 BMW 标签出现时，Label Car 很可能发生，但反之则不一定。标签 Car 与所有其他标签具有高度相关性，没有箭头的标签表示这两个标签彼此没有关系。

GCN网络实现如Figure 4所示。GCN模块由两层堆叠的GCN（GCN(1) 和 GCN(2)）组成，它们有助于学习标签相关图，以将这些标签表示映射到一组相互依赖的分类器中。A 是输入相关矩阵，由矩阵 P^‘的值初始化。W1 是将在网络中训练的矩阵。W2是GCN学习到的分类器权重。

4 标签重加权

Youtube-8M 视频分类任务是一个多标签分类任务，然而，注释数据仅选择多标签中的一个进行标注为1，其余标签均问0。也就是说，某一个视频片段除了可能是标注的还可能是其他置为0的标签。这个问题也是个弱监督问题。针对此情况，我们提出了一种解决方法。在计算损失时给带注释的类赋予较大的权重，并为未注释的类赋予较小的权重。这种加权交叉熵方法将帮助模型更好地从不完整的数据集中学习。原始二元交叉熵损失函数为：