ICML 2026 Spotlight｜快手联合中科院软件所提出业界首个隐喻视频理解基准与方法

在短视频与社交媒体盛行的今天，越来越多的创作者不再直白地表达观点，而是借助隐喻来传递深层意涵。一段画面里，一群身着燕尾服、戴着法官帽的猪在豪华宴会上大快朵颐，桌子底下的猫却在争抢残羹冷炙——它表面上是一则荒诞的动画，真正想说的却是“统治阶层挥霍掠夺社会财富，底层民众艰难求生”的社会批判。
对人类而言，看懂这层意思几乎是本能；但对多模态大模型（MLLM）而言，这却是一道远未跨越的认知鸿沟。它们能准确“看见”燕尾服、猪、猫、宴会这些视觉元素，却往往读不懂这些元素背后所映射的抽象概念。这种从感知信号到深层语义的跨越，正是多模态隐喻理论中所说的跨域映射（cross-domain mapping）——也是检验大模型高阶认知能力的试金石。

然而，长期以来隐喻视频理解缺乏系统性研究，既限制了MLLM在真实复杂场景中的落地，也让我们无法真正评估它们的认知上限。为解决这一问题，快手联合中国科学院软件研究所、清华大学共同提出了业界首个面向隐喻视频理解的系统性基准、深度分析与增强方法。相关成果《MetaphorVU: Towards Metaphorical Video Understanding》已被机器学习顶级会议ICML 2026接收，并被选为spotlight。

论文名称: MetaphorVU: Towards Metaphorical Video Understanding

论文链接:https://arxiv.org/abs/2605.25461

代码仓库：https://github.com/icip-cas/MetaphorVU

Benchmark仓库：https://huggingface.co/datasets/lzq2021/MetaphorVU-Bench

一、研究背景：被低估的“隐喻”，被高估的“理解”

隐喻视频广泛存在于社会评论、价值倡导、情感表达等重要场景中。与直接陈述不同，创作者通过画面引导观众去联想与解读，例如：摇曳的玫瑰与渐暗的场景暗示分手后内心的灰暗，孔明灯升空寄托对考试与未来的祈愿。

根据多模态隐喻理论，人类理解隐喻视频是一个高阶认知过程，核心是把感知到的视觉信号转化为其中隐含的语义，即从视觉元素链接到深层概念的跨域映射。

但现实是：

• 现有评测缺位——主流视频理解基准多聚焦于物体识别、事件描述、浅层问答，几乎没有专门、系统地衡量“隐喻理解”这一高阶能力的工具；
• 模型能力存疑——我们并不清楚MLLM究竟是真的“理解”了画面深意，还是仅仅停留在“看图说话”。

懂画面，不等于懂意思。这道横亘在感知与认知之间的鸿沟，正是本工作要正面丈量并尝试跨越的边界。

二、基准构建与缺陷分析

2.1 基准构建：MetaphorVU-Bench

要回答“模型到底懂不懂隐喻”，首先需要一把可靠的尺子。为此，团队构建了MetaphorVU-Bench——首个系统的、全面的隐喻视频理解基准，具备三大特征：有据可依的系统化分类、源于亿级真实视频的数据、严格的人工标注。

2.1.1 一套有理论根基的隐喻分类体系

不同于零散的样本堆叠，团队基于多模态隐喻理论及其在影视、符号学领域的扩展，提炼出覆盖8类视频隐喻的系统化分类：

• 肢体语言（Body Language）：通过人物动作、神态传递意涵；
• 氛围语言（Atmosphere Language）：通过色彩、光线、构图营造的氛围传情；
• 文化符号（Cultural Symbol）：借文化器物的象征表意；
• 自然符号（Naturalistic Symbol）：借自然元素与动植物行为表意；
• 因果蒙太奇（Causal Montage）：通过因果镜头并置引导观众推断逻辑；
• 类比蒙太奇（Analogical Montage）：通过相似镜头并置引导观众联想类比；
• 超现实叙事（Surreal Narrative）：通过虚构、夸张的超现实情节寄寓深意；
• 表演叙事（Performative Narrative）：通过剧情反转的表演性叙事传递批判。

2.1.2 从亿级真实视频中“沙里淘金”

基准数据全部源自真实短视频平台，覆盖广泛话题，视频时长与主流MLLM兼容。面对亿级候选、其中仅极小部分含隐喻逻辑的难题，团队设计了多阶段漏斗式筛选：

• 评论数>150筛选（约7万）→ 强LLM（GPT-5）分析简介/ASR/评论（约1.6万）→ 强MLLM（Gemini-3-Pro）核验视觉一致性（约4千）→ 人工终筛与类型平衡 →860条高质量隐喻视频，覆盖8大类型。

最终通过带交叉验证的严格人工标注，得到可靠的隐喻解读标签。

2.1.3 贴近真实的评测任务与指标

任务被形式化为：

模型在输入视频与标题后，先在思考过程中识别视觉元素、建立概念链接、揭示隐含意义，再在输出中给出隐喻解读。由于解读是自由文本，规则化指标难以可靠评分，团队沿用自由文本视频问答的做法，采用LLM打分给出0–100的可靠评估。

2.2 缺陷分析：模型差在哪里？

有了尺子，团队系统评测了11个代表性闭源与开源MLLM，并得出令人警醒的结论。

2.2.1 现状：与人类差距悬殊

即便是最先进的Gemini-3-Pro、GPT-5，平均分也只在64分左右，而人类上界高达83.4分，差距接近20分；开源模型差距更大（如Qwen3-VL-8B-Thinking仅52.0）。更值得注意的是，许多专为识别、事件描述设计的推理增强方法（如LTR、ViTCoT）甚至会拖累基座模型表现——说明隐喻理解需要的能力，和它们所增强的并不是同一种。

2.2.2 具体原因：80% 的失败不在“看错”，而在“想错”

为找到真正的瓶颈，团队对不同能力档位的模型做了细粒度错误分析，将失败归为四类：识别错误、缺失映射、表面映射、错误映射。结果一针见血：

超过80%的失败都不是“看错了画面”，而是无法把视觉元素正确链接到底层概念——即跨域映射的缺陷。 进一步分析还发现：越需要跨域映射的子类（如因果蒙太奇、超现实叙事），模型表现越差。

这条分析链条把问题钉在了一个明确的靶点上：增强跨域映射，才是提升隐喻视频理解的关键。

三、隐喻视频理解能力增强

3.1 映射增强：MetaphorBoost

既然短板在于“跨域映射能力不足”，那就为模型提供一副外部认知脚手架。团队据此提出基于隐喻知识图谱的推理时增强框架MetaphorBoost，无需重新训练，即可一致地提升各类MLLM的隐喻理解能力。

3.1.1 首个隐喻知识图谱

隐喻理解天然需要多跳、互联的概念链接，因此团队构建了业界首个面向隐喻的知识图谱，包含54,687个节点、200,268条边，构建方法为：

• 收集公开的文本隐喻数据集；
• 用DeepSeek-V3.2从中抽取“源概念→目标概念”的隐喻映射对作为节点： 

• 再将概念互联成图 

3.1.2 推理阶段的映射增强

给定一段视频，MetaphorBoost分三步走：

• 识别（Identify）：让MLLM全面抽取视频中的视觉元素，得到关键词列表；
• 查询（KG Querying）：以关键词为入口在图谱中做多跳检索，保留与最多关键词相连的top-z目标概念作为参考 

生成（Generate）：以检索到的概念为线索，引导模型完成思考并生成隐喻解读： 

模型不再“凭空”猜测画面深意，而是在隐喻概念网络的牵引下，把视觉元素稳稳地链接到正确的底层概念。

3.2 实验结果：给模型装上“认知脚手架”的力量

3.2.1 一致且可观的提升

MetaphorBoost在不同体量、不同来源的模型上都带来稳定增益：Gemini-3-Pro平均 +2.3、Qwen2.5-VL-7B +4.1、Qwen3-VL-8B-Thinking +3.8，并在最依赖跨域映射的因果蒙太奇、超现实叙事子类上提升尤为明显（最高单项+7.8）。

3.2.2 消融实验印证设计动机

逐项消融清晰回答了“为什么这样设计”：

• 去掉外部增强→性能下降：外部知识确能弥补模型映射能力的不足；
• 去掉图结构（退化为纯文本检索）→性能下降：图的显式关系连接提供了更有效的映射增强；
• 换成通用常识图谱ConceptNet→性能下降：隐喻理解所需的是超越基础常识的高阶认知，专属隐喻知识不可替代。

3.2.3 直接证据：坏映射变少了

更进一步，团队统计了增强前后缺失映射、表面映射、错误映射三类问题的发生次数，结果三者同步减少——从机理上直接证明：MetaphorBoost确实是通过强化“视觉元素→底层概念”的链接能力来提升隐喻理解的，而非简单的提示堆砌。

四、意义与展望

这项工作的价值在于扩展了衡量多模态大模型的方式：从“能不能看清”，走向“能不能看懂”：

• MetaphorVU-Bench提供了首把系统性的标尺，让“隐喻理解”这一高阶认知能力第一次变得可评测、可分析；
• 跨域映射诊断把模型的真实短板从“感知层”精确定位到“认知层”，为后续研究指明了靶点；
• MetaphorBoost与隐喻知识图谱则给出了一条无需重训、即插即用的增强路径，验证了“以结构化外部知识增强跨域映射”这一技术方向的可行性。

当模型开始具备把画面与概念相联、由表象推及深意的能力，多模态理解便从“感知智能”向“认知智能”迈出了关键一步。未来，团队将继续探索更强的跨域映射建模、更广的隐喻场景覆盖，推动多模态大模型在内容理解、创作辅助、社会计算等更广阔的真实业务中走得更深、更远。