基础设施是 AI Agent 缺失的环节

想象一下一支企业 AI Agent 团队，随时准备上报事件、提取数据并触发自动化。但他们却被边缘化了。不是因为模型有问题，而是因为系统无法支持实时决策或执行。这就是缺失的环节。

企业正在对 agentic A 进行大量投资，根据最近的预测，到 2032 年，市场规模将达到 1400 亿美元。然而，Gartner 警告说，到 2027 年，超过 40% 的 agentic A 项目将被取消。这是一个信号，表明在加速采用的同时，基础设施却没有跟上步伐。

这不是 GPU 的问题。这是一个基础问题。

GenAI 工具在简单的请求/响应循环中运行，而自主 agent 则需要持久内存、实时数据和系统级执行。传统的云基础设施并非为此而建。它是为无状态应用程序和应用程序接口设计的，而不是为根据上下文进行观察、推理和行动的智能系统设计的。

结果如何？越来越多前景看好的 agent 部署在尝试扩展时碰壁。

试点的环境问题

瓶颈不在于模型，而在于执行环境。

一旦需要扩展到整个企业，Agentic AI 的部署通常会停滞不前。根据标普全球最近的研究，58% 的组织表示，在生产环境中扩展 AI 应用非常困难或极其困难，这是团队在尝试超越试点项目时遇到的一个关键阻力点。

根本原因是架构性的：

• 刚性基础从未被设计用于 agent 的连续操作、实时适应和与内部系统自主交互。
• 分散在各个平台和供应商之间的系统，限制了 agent 对企业系统的访问，并造成了延迟和复杂性。
• 执行差距，agent 无法调用工具、保留上下文或跨系统完成多步骤任务。

要克服这个问题，需要为连续性和协调性而构建的底层 AI 优先基础设施，agent 可以在其中访问工具、保留上下文并跨系统进行无摩擦交互。

以采购 agent 为例：它可以检查实时库存、查阅定价模型并触发供应商工作流程。但为了有效运行，它需要安全地访问数据、在运行时调用工具，以及将操作委托给其他代理（例如开具发票或法律审查）的能力。

Agentic 基础设施蓝图

五大架构要素正逐渐成为生产就绪型企业代理系统的关键要素。每一项要素都旨在弥补传统云基础设施在访问、执行和协调方面的关键缺陷，并共同构成实际部署的基础。

1. 构建实时情报，而非静态报告

如果没有及时、可靠的上下文，agent 就无法做出有意义的行动。针对人类消费和批处理进行优化的传统数据架构无法满足需要持续、低延迟访问企业状态的系统需求。

这需要一个兼顾速度和控制的数据访问层：

• 支持流遥测（例如传感器数据、事件日志）和结构化查询（例如 ERP、CRM 系统）的混合访问路径。
• 使用 VPC 对等、VPN 或直接互连的私有连接，以避免公共互联网暴露。
• 细粒度的 RBAC 定义每个代理可以访问什么以及在什么条件下访问。
• 全面的可审计性，因此每个数据交互都会被记录、可追溯和可审查以确保合规性。

与传统应用程序不同，agent 依赖于对系统状态（例如当前库存、用户活动或工作流状态）的持续、低延迟访问来做出相关决策。如果没有这种实时数据基础，agent 就只能局限于静态输入，无法适应不断变化的条件或业务需求。

2. 本地化 agent 内存以满足大规模合规性

合规性，而非便捷性，日益决定着检索工作流程的设计方式和位置。检索增强生成 (RAG) 中使用的矢量数据库必须位于经批准的管辖范围内，支持低延迟访问，并提供满足区域合规标准所需的可审计性。

这需要：

• 管辖权感知路由，因此代理仅根据数据驻留要求查询适合区域的向量存储。
• 地理部署灵活性，支持边缘位置或国内托管以满足主权要求。
• 嵌入式治理控制（包括审计跟踪和访问控制）在金融、医疗保健或公共部门部署中尤为重要。

RAG 不能被视为一个抽象的架构层。它是 agent 系统的操作记忆——如果这些记忆没有得到适当的管理，agent 就有可能根据它们不应该访问的数据采取行动，或者做出无法向监管机构解释的决策。

3. 自托管模型来控制执行并保护上下文

虽然 OpenAI 或 Anthropic 等提供商提供的模型 API 可以完成简单的任务，但代理系统需要对模型执行进行更深入的控制。出于隐私、延迟和合规性方面的考虑，有必要将模型执行转移到内部执行，尤其是在处理敏感数据或关键任务操作时。

自托管容器化大型语言模型 (LLM) 或专门的小型语言模型 (SLM) 提供：

• 隔离的环境可以安全地运行模型，并且工作负载和系统之间的界限清晰。
• 特定于任务的推理策略，根据角色或合规性要求定义哪些代理可以使用哪些模型。
• 动态模型路由允许代理根据手头的任务在不同的模型（例如，规划器、汇总器、验证器）之间切换。
• 通过使用更小、领域调整的模型来优化成本和性能，在企业边界内提供更好的性能

这种方法使团队能够控制他们最敏感的推理过程，同时针对特定用例和合规性要求进行优化。

4. 使用 MCP 将工具公开为安全、可调用的函数

为了使 agent 能够有效运作，他们需要结构化地访问企业工具和服务。目前，这种访问通常通过脆弱的、手动配置的 API 或自定义脚本实现，这会产生维护开销和安全风险。MCP 将这些临时模式替换为一个可发现的、机器可读的接口，使代理能够在运行时安全地调用内部功能。

实际上，这意味着：

• 以一致、可发现的格式公开内部工具和系统功能的标准化模式。
• 根据角色、上下文和业务策略控制每个代理可以访问和执行的内容的细粒度权限系统
• 可部署的 MCP 服务器靠近代理，可减少延迟并实现安全的本地化执行。

MCP 将系统访问从硬编码集成挑战转变为运行时协调层，随着 agent 行为变得更加复杂，该协调层可以扩展。

5. 在系统中建立协调机制，而不是 Agent

在实际的企业部署中，agent 越来越需要协作，共享上下文、划分复杂任务或跨不同领域和系统工作。

agent 到 agent 的协调引入了在分布式代理系统中维护信任、身份和会话连续性所需的协议。

这需要：

• 共享会话上下文，以便 agent 可以跨步骤、跨域或跨时间段构建彼此的操作。
• 授权框架定义了一个 agent 可以将什么权限传递给另一个 agent ，并具有清晰的审计跟踪。
• 事件驱动的通信 模式允许 agent 无需中央协调即可做出反应和适应。

A2A 协议是安全且可预测地扩展 agent 系统的架构要求。由于 agent 承担分布式、相互依赖的角色，因此必须将协调机制内置于系统本身：经过身份验证、策略管理，并且设计为可观察的。

填补基础设施空白

成功扩展 agentic AI 能取决于支持和启用它的系统。这需要一种架构思维，将可组合性、可观察性和信任视为核心基础设施功能。

这里概述的要素并非空谈理论；如今，成熟的 AI 和平台工程团队正在积极实践这些要素，他们深知超越 Copilot 和 API 封装器所带来的风险。无论是从小规模起步还是快速扩展，这些要素都为在生产环境中部署智能体奠定了清晰的基础。