早期的大型语言模型 (LLM) 擅长生成连贯的文本；然而，它们在处理需要精确操作的任务（例如算术计算或实时数据查找）时却举步维艰。工具增强型代理的出现弥补了这一缺陷，它赋予 LLM 调用外部 API 和服务的能力，有效地将语言理解的广度与专用工具的特异性相结合。
Toolformer 开创了这一范式，证明了语言模型能够以自监督的方式自学与计算器、搜索引擎和问答系统交互，从而显著提升下游任务的性能，同时又不牺牲其核心的生成能力。同样具有变革意义的 ReAct 框架将思路链推理与显式操作（例如查询维基百科 API）交织在一起，使代理能够以可解释、增强信任的方式迭代地完善其理解和解决方案。
核心能力
可操作 AI agent 的核心在于语言驱动的工具和服务调用能力。例如，Toolformer 通过学习何时调用每个 API、提供哪些参数以及如何将结果重新整合到语言生成过程中来集成多种工具，所有这些都通过一个轻量级的自监督循环完成，只需少量演示即可完成。
除了工具选择之外，像 ReAct 这样的统一推理和行动范式还能生成明确的推理轨迹以及行动命令，使模型能够实时规划、检测异常并修正其轨迹，这在问答和交互式决策基准测试中取得了显著的进步。与此同时，像 HuggingGPT 这样的平台协调了一套涵盖视觉、语言和代码执行的专用模型，将复杂任务分解为模块化子任务，从而扩展了代理的功能库，并为更全面的自主系统铺平了道路。
记忆与自我反思
当 agent 在丰富的环境中执行多步骤工作流程时，持续的性能表现需要记忆和自我改进的机制。Reflexion 框架通过让 agent 以口头方式反思反馈信号并将自我评论存储在情景缓冲区中，重新定义了自然语言中的强化学习。这种内省过程可以在不修改模型权重的情况下强化后续决策，有效地创建了对过去成功和失败的持久记忆，这些记忆可以随着时间的推移不断重现和完善。
新兴 agent 工具包中出现的互补记忆模块可以区分用于即时推理的短期上下文窗口和用于捕捉用户偏好、领域事实或历史行动轨迹的长期存储，从而使代理能够个性化交互并保持跨会话的一致性。
Multi-Agent 协作
虽然单智能体架构已经释放出卓越的能力，但复杂的现实问题往往受益于专业化和并行化。CAMEL 框架体现了这一趋势，它创建了可通信的子智能体，这些子智能体能够自主协调解决任务，共享“认知”流程，并根据彼此的洞察进行调整，从而实现可扩展的合作。
CAMEL 旨在支持可能拥有数百万个智能体的系统，它采用结构化对话和可验证的奖励信号来演化出反映人类团队动态的新兴协作模式。这种多智能体理念延伸到了 AutoGPT 和 BabyAGI 等系统，这些系统衍生出了规划者、研究者和执行者智能体。尽管如此，CAMEL 对明确的智能体间协议和数据驱动演化的重视，标志着它朝着强大的自组织人工智能集体迈出了重要一步。
评估和基准
对可操作智能体的严格评估需要能够模拟现实世界复杂性并要求进行顺序决策的交互式环境。ALFWorld 将抽象的基于文本的环境与基于视觉的模拟相结合，使智能体能够将高级指令转化为具体操作，并在两种模式下训练后展现出卓越的泛化能力。同样，OpenAI 的“计算机使用智能体”（Computer-Using Agent）及其配套套件利用 WebArena 等基准测试来评估人工智能在安全约束范围内浏览网页、填写表单以及响应意外界面变化的能力。这些平台提供可量化的指标，例如任务成功率、延迟和错误类型，用于指导迭代改进，并促进不同竞争智能体设计之间进行透明的比较。
安全、协调和道德
随着 agent 获得自主权，确保安全且一致的行为变得至关重要。护栏机制既在模型架构层面实施，通过限制允许的工具调用，也通过人机交互的监督来实现，例如 OpenAI 的 Operator 等研究预览，该程序在受监控的条件下将浏览功能限制为 Pro 用户，以防止滥用。对抗性测试框架通常基于交互式基准测试构建，通过向 agent 提供格式错误的输入或相互冲突的目标来探测漏洞，从而使开发人员能够强化策略，以防范幻觉、未经授权的数据泄露或不道德的操作序列。道德考量不仅限于技术保障措施，还包括透明的日志记录、用户同意流程以及严格的偏见审计，以检查代理决策的下游影响。
总而言之，从被动语言模型到主动工具增强型 AI agent 的演变轨迹代表了人工智能领域过去几年最重要的发展之一。通过赋予语言模型（LLM）自监督工具调用、协同推理-行动范式、反射记忆循环和可扩展的多智能体合作能力，研究人员正在构建不仅能生成文本，还能感知、规划和行动的系统，使其自主性不断增强。Toolformer 和 ReAct 等先驱性成果奠定了基础，而 ALFWorld 和 WebArena 等基准测试则为衡量进展提供了严峻的考验。随着安全框架的成熟和架构向持续学习方向发展，下一代 AI agent 有望无缝集成到现实世界的工作流程中，实现人们长期以来期盼的智能助手愿景，真正连接语言和行动。
资料来源：
- https://arxiv.org/abs/2302.04761
- https://arxiv.org/abs/2210.03629
- https://arxiv.org/abs/2303.11366
- https://arxiv.org/abs/2303.17760
- https://arxiv.org/abs/2010.03768
- https://arxiv.org/abs/2305.16291
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/58736.html
