LLM 中上下文工程的技术路线图：机制、基准和开放挑战

AIGC • 2025年8月5日上午10:27 • 技术文章

论文《大语言模型的上下文工程综述》将上下文工程确立为一门超越即时工程的正式学科，为设计、优化和管理指导大语言模型 (LLM) 的信息提供了一个统一的系统框架。

以下是其主要贡献和框架的概述：

什么是上下文工程？

上下文工程被定义为一门科学与工程，旨在组织、组装和优化输入到 LLM 的所有形式的上下文，以最大限度地提高其在理解、推理、适应性和实际应用方面的性能。上下文工程并非将上下文视为静态字符串（快速工程的前提），而是将其视为组件的动态、结构化组合——每个组件都通过明确的函数进行获取、选择和组织，并且通常在严格的资源和架构约束下进行。

上下文工程的分类法

本文将上下文工程细分为：

1. 基础组件

a. 上下文检索与生成

包括快速工程、上下文学习（零次/少量学习、思路链、思路树、思路图）、外部知识检索（例如检索增强生成、知识图谱）和情境元素的动态组装1。
重点介绍了 CLEAR 框架、动态模板组装和模块化检索架构等技术。

b. 上下文处理

解决长序列处理（使用 Mamba、LongNet、FlashAttention 等架构）、上下文自我细化（迭代反馈、自我评估）以及多模式和结构化信息（视觉、音频、图形、表格）的集成。
策略包括注意力稀疏性、记忆压缩和上下文学习元优化。

上下文管理

涉及内存层次结构和存储架构（短期上下文窗口、长期记忆、外部数据库）、内存分页、上下文压缩（自动编码器、循环压缩）以及多轮或多代理设置的可扩展管理。

2. 系统实现

a. 检索增强生成（RAG）

模块化、代理和图形增强的 RAG 架构集成了外部知识并支持动态的、有时是多代理的检索管道。
支持对结构化数据库/图表进行实时知识更新和复杂推理。

b.记忆系统

实现持久和分层存储，使代理能够进行纵向学习和知识回忆（例如，MemGPT、MemoryBank、外部矢量数据库）。
扩展、多轮对话、个性化助理和模拟代理的关键。

c. 工具集成推理

LLM 通过函数调用或环境交互使用外部工具（API、搜索引擎、代码执行），将语言推理与世界行动能力相结合。
启用新领域（数学、编程、网络交互、科学研究）。

d. 多智能体系统

通过标准化协议、协调器和上下文共享在多个 LLM（代理）之间进行协调，这对于复杂的协作式问题解决和分布式 AI 应用至关重要。

关键见解和研究差距

理解—生成不对称：具有高级语境工程的 LLM 可以理解非常复杂、多方面的语境，但仍然难以生成与该复杂性或长度相匹配的输出。
集成和模块化：最佳性能来自结合多种技术（检索、记忆、工具使用）的模块化架构。
评估局限性：当前的评估指标/基准（例如 BLEU、ROUGE）通常无法捕捉高级上下文工程所支持的组合、多步骤和协作行为。我们需要新的基准以及动态、整体的评估范式。
开放性研究问题：理论基础、有效扩展（尤其是计算方面）、跨模态和结构化上下文集成、现实世界部署、安全、一致性和道德问题仍然是开放性研究挑战。