ICLR 2026 | 基于视觉自回归模型的前馈式主体驱动图像生成算法 EchoGen

中国科学技术大学与淘天集团-音视频技术团队在 ICLR 2026上提出的 EchoGen，作为首个基于视觉自回归模型的前馈式主体驱动图像生成框架，通过创新的双路径主体注入策略（解耦高层语义身份与低层细节纹理）有效攻克了该领域长期存在的质量与效率难以兼顾的难题，在 DreamBench 基准测试和人类评测中实现了与扩散模型相当的生成质量与主体保真度，同时将1024×1024图像的生成延迟大幅压缩至5.2秒，较现有扩散方案加速2-18倍，为主体驱动生成在直播互动、商品实时渲染等强时效性工业场景的落地提供了高效可行的新技术路径。

01 论文背景介绍

ICLR（International Conference on Learning Representations），又称国际表征学习大会，是机器学习领域全球顶级学术会议之一，重点关注与深度学习相关的前沿研究。该会议每年举办一次，其收录的论文往往代表了未来几年 AI 技术演进的风向标。ICLR 2026 收到创纪录的近 19,000 篇有效投稿，整体录用率约 28%。此篇被收录论文聚焦于主体驱动图像生成（Subject-Driven Generation）领域，由中国科学技术大学与淘天集团-音视频技术团队联合完成。

在主体驱动生成领域，现有方法长期受困于“质量 vs. 效率”的两难抉择：基于测试时微调的方案（如 DreamBooth）虽能精准保留主体身份，却需为每个新主体单独训练数十分钟乃至数小时；基于扩散模型的前馈方案虽然摆脱了逐主体训练的束缚，却继承了扩散模型迭代去噪带来的高推理延迟。如何在不牺牲生成质量的前提下大幅压缩延迟，是主体驱动生成走向工业级实时应用必须跨过的门槛。针对这一痛点，团队首次构建了基于视觉自回归（Visual Auto-Regressive, VAR）模型的前馈式主体驱动图像生成框架——EchoGen，通过创新的双路径主体注入策略，在 DreamBench 基准与人类评测上达到与扩散方法相当的效果，同时将 1024×1024 图像的生成延迟压缩至 5.2 秒，相比 SOTA 扩散方案实现至少 2× 加速。

论文下载链接：https://arxiv.org/abs/2509.26127

项目开源地址：https://github.com/drx-code/EchoGen

02 论文摘要

此篇论文提出了 EchoGen，一种基于视觉自回归（Visual Auto-Regressive, VAR）模型的前馈式主体驱动图像生成方法。在主体驱动生成领域，现有 SOTA 方法面临一组难以兼顾的取舍：基于测试时微调的路线虽能精准保留主体身份，但需为每个新主体单独训练，既耗时又难以满足零样本生成的实际需求；基于扩散模型的前馈路线虽实现了零样本生成，却继承了扩散过程迭代去噪的高延迟瓶颈。VAR 模型凭借快速采样与高质量生成的双重优势，本应是破解这一两难的理想基座，但其在主体驱动方向的潜力始终未被充分挖掘。

为此，本文创新性地提出了”双路径主体注入“策略，将主体的高层语义身份与低层细节纹理解耦后分别注入生成过程：一路通过语义编码器提取主体的语义信息，经解耦交叉注意力机制引导整体构图；另一路通过内容编码器捕获精细视觉细节，经多模态注意力机制实现纹理与结构的高保真重建。据我们所知，EchoGen 是首个基于 VAR 模型构建的前馈式主体驱动生成框架。大量实验表明，EchoGen 在主体保真度和图像质量上均可与扩散方法相媲美，同时推理延迟显著更低，为主体驱动生成开辟了一条全新的技术路径。

03 具体方法

在前馈主体驱动生成的新范式下，如何在保留视觉自回归模型固有”快采样、高质量”优势的前提下，向其注入足够丰富、且细粒度可控的主体条件信号，是技术核心难题。团队从主体特征注入策略与模型架构设计两个维度进行了重新设计。

核心痛点

主体驱动生成长期由扩散模型主导，但迭代去噪带来的高推理延迟在直播互动、商品图实时生成、AIGC 创作工具等强实时性业务场景中难以接受。Visual Auto-Regressive（VAR）模型采用”由粗到细”的下一尺度预测（next-scale prediction）范式，天然具备更快的采样速度，但其在可控生成、特别是主体驱动方向上的研究几乎空白；同时，简单将扩散模型常用的主体注入方案迁移到 VAR，往往因架构差异导致语义对齐不良、细节丢失等问题。

双路径主体注入策略

如图2所示，EchoGen 的核心思想是：一个主体的信息由”高层语义”与”低层细节”共同定义，二者应被解耦后分别注入，而非通过单一通道简单融合。

语义路径：身份保真

为防止生成过程中的”身份漂移”，团队使用预训练视觉基础模型 DINOv2 提取参考图的语义特征，并分两个层级注入。其中细粒度语义特征 经解耦交叉注意力（Decoupled Cross Attention）与文本条件并行注入，引导主体的结构与风格；全局语义 token作为前缀拼接至输入 token 序列，并经 Adaptive LayerNorm 调制 EchoGen Block，确保整体构图的语义一致性。得益于解耦交叉注意力的设计，文本路径与语义路径的 K/V projector 完全独立，且文本路径与查询 projector 保持冻结，仅训练语义路径的 K/V projector——既实现了从语义视觉空间到生成器潜在空间的对齐映射，又最大程度避免微调对预训练知识的扰动。

内容路径：细节保真

仅靠 DINOv2 语义特征往往无法重建主体的精细纹理与局部细节（如毛发走向、织物肌理、文字 logo 等）。为此，EchoGen 引入第二条注入路径：使用 FLUX.1-dev VAE 提取参考图的低层内容特征，经精心设计的多模态注意力（Multi-Modal Attention）模块注入生成流程。其关键设计在于注意力掩码：生成 token 可访问参考 token，同时参考 token 对生成序列保持因果不可见。

主体分割预处理

真实场景中用户提供的参考图常包含复杂背景，会污染主体特征注入。EchoGen 设计了基于 Qwen2.5-VL + GroundingDINO 的主体分割流水线：如图3所示，先由 VLM 识别主体语义并生成描述文本，再由 GroundingDINO 基于该文本定位主体边界框，最后裁剪并以纯白背景替换非主体区域。

主体-文本联合无分类器引导（Subject-Text CFG）

为支持用户在“主体保真”与“文本对齐”之间灵活权衡，EchoGen 在标准 CFG 基础上引入双系数引导：

04 实验论证与结果

我们在 DreamBench 标准基准上与三大类共 14 项对比方案进行了全面定量评测，并在人类评测环节进一步引入 DreamBench++ 作为补充。

定量评估

如表1所示，EchoGen-2B 在 DINO（0.755）、CLIP-I（0.835）、CLIP-T（0.325）三项核心指标上均位列前列，全面超越或持平所有基线方法；而推理延迟仅 5.2 秒，相比 OmniGen（93.4s）、MS-Diffusion（39.6s）、OminiControl（27.5s）、EasyControl（25.4s）、IP-Adapter（16.9s）、ELITE（11.0s）等扩散方案最高实现 18× 加速。

定性评估

图4可视化对比展示了 EchoGen 在主体保真与文本一致性两方面的优势：

• 结构重建：在皮靴、陶壶等刚性物体上，EchoGen 能精确复现轮廓与边缘线条，而 IP-Adapter、OminiControl 常出现结构扭曲或边缘模糊；
• 纹理质感：在毛绒玩具、虎斑猫等高频纹理对象上，EchoGen 生成的毛发根根分明、肤质自然，避免了过度平滑；
• 文本：在”鸭子玩具漂在水面”、”虎斑猫在雪地”等复合场景下，EchoGen 严格遵循文本约束，而 IP-Adapter 等出现明显的语义偏移。

人类评测

在 25 位生成模型领域专家、共 450 份评估中，EchoGen-2B 在主体保真度（37%）与照片真实感（34%）两项关键人类感知指标上以显著优势胜出；文本对齐度（30%）与最强对比方法 EasyControl 持平，并明显优于其他基线。

速度-质量权衡分析

通过调整扩散方案中的去噪步数，我们绘制了图5所示的“采样延迟–性能”曲线。结果表明，EchoGen 在所有采样延迟区间内始终位于帕累托前沿，说明其速度优势并非以牺牲生成质量为代价。

05 总结与展望

我们提出了 EchoGen——首个基于视觉自回归模型的前馈主体驱动生成框架。通过创新的双路径主体注入策略，EchoGen 在保留 VAR 模型快采样优势的同时，在 DreamBench 与人类评测上达到与扩散方法相当甚至更优的水平，并将 1024×1024 图像的生成延迟压缩至 5.2 秒，为主体驱动生成的实时落地提供了全新技术路径。

尽管效率优势明显，当前 EchoGen-2B 仍依赖 2B 参数的 Infinity 基座模型，对长尾稀有主体的泛化能力以及多主体复合生成场景尚有提升空间。未来工作将围绕三个方向展开：（1）模型蒸馏与轻量化，进一步压缩 EchoGen-0.1B 系列的部署成本，探索单步/少步 VAR 采样；（2）多主体组合生成，扩展至多主体协同与复杂关系约束的复杂场景；（3）视频主体驱动生成，将该范式从图像扩展至视频，赋能直播、短视频等核心业务场景。

06 团队介绍

该工作由淘天音视频技术团队与高校合作完成。音视频技术团队服务于国民 app 淘宝中直播、逛逛、首页信息流、商品详情等核心视频业务场景，长期聚焦技术创新与应用落地，致力于持续提升用户内容消费体验。团队成员来自海内外知名高校，多次在 MSU 世界编码器大赛，CVPR NTIRE 视频增强超分竞赛这样的权威赛事上夺魁，并重视与学界的合作与交流。

团队主导设立了淘天博士后工作站，持续强化前沿技术研发与高层次人才培养能力。自成立以来，已累计招收十余位博士后，发表高水平论文近20篇，多项成果已在淘宝核心业务场景规模化落地。

团队兼顾算法创新与工程应用，围绕视频生产、视频修复与生成、视频编码等完整链路持续深耕，保障视频、图片相关业务的流畅度和音画质体验，并在多媒体 AIGC 方向积累了多模态理解、图像生成与编辑、可控视频生成等关键能力，为直播、信息流、搜索推荐等业务场景提供技术支撑。