Chipotle 成为最新一家因客服 AI 代理出现失误的品牌。
Docket 首席执行官 Nishant Hooda 在 LinkedIn 上发布的一则帖子显示，该公司的一名客服机器人被调离了工作任务，转而回答编程问题。
Chipotle 已经纠正了这个问题，防止顾客与客服人员进行无关的对话。
这次事件并没有引发消费者真正的愤怒。相反，评论员们只是拿这件事开玩笑，充其量，这只是Chipotle公司一次小小的尴尬而已。
毕竟，除非涉及到定价、退款、个人数据或受监管的建议，否则就不能称之为严重的信任危机。
然而，由于未能缩小其代理的范围，Chipotle 冒着将大量资金投入 AI token 的风险。
避免重蹈 Chipotle AI 代理失误的三大措施
Chipotle 的失误是一个简单而无害的“越狱”案例，这种技术利用了AI 代理乐于助人的倾向，使其回答超出其操作限制范围的问题。
然而，“越狱”攻击可能造成严重后果。以下是避免此类攻击的三大措施。
1. 在产品层面 AI 代理的范围
如今大多数大语言模型（LLM）实际上是在互联网上训练的，例如Reddit、维基百科以及数量相对较少但权重很高的资源，然后就直接被应用到品牌环境中。问题就出在这里。
正如 Opus Research 副总裁兼首席分析师 Ian Jacobs 所指出的，品牌拥有强大的潜力，但却缺乏正确的约束。鉴于此，他建议：
“应该在产品层面而非仅仅在提示信息层面来限制机器人的功能范围。机器人应该能够拒绝或重定向任何超出其职责范围的内容，例如订单支持、门店信息或会员积分相关问题。”
2. 基于高性能智能体行为的 AI 模型
为了缩小代理的范围，许多组织会将其限制在经过验证的高质量答案的精选知识库中。
然而，很多时候，底层内容质量却不尽如人意。例如，据 Connect 公司的对话式语音 AI 和客户体验专家 Andrew Moorhouse 称，某银行的呼叫中心知识库竟然包含 15,000 篇 SharePoint 文章。这在实际应用中完全无法使用。
因此，该银行抽调了50名业绩最佳的客户体验专员，进行为期三个月的集中工作，从头开始审查并重写这些答案。然而，Moorhouse 认为还有更进一步的办法。
“更先进的团队现在会利用表现最佳的智能体的行为来训练系统。所以，你不仅仅是给模型提供信息，你还给它提供‘好’的实际例子。这才是真正的保障措施。这不是事后附加的，而是模型一开始就能获取的信息。”
“结果是 AI 的功能范围更窄，但可靠性更高，”Moorhouse 总结道。“在客户体验领域，可靠性永远是制胜之道。”
3. 测试，测试，再测试
Jacobs认为，品牌需要在发布前用奇怪的现实世界提示彻底测试其 AI 代理，并在发布后持续进行测试。
许多对话式 AI 平台都包含模拟数千个客户旅程的工具，以便在客户提出问题之前发现机器人的缺陷。然而，选择自行开发的用户也可以利用 Bluejay、Cresta 或 Docket 等公司的单点解决方案，更好地测试其客服人员或更广泛的客户体验保障平台，例如 Cyara 或 Pump CX。
更多面向客户的AI代理失控的案例
Chipotle并非唯一一家客户AI代理出现故障的公司。以下还有3个案例，其中一些后果更为严重。
1. 亚马逊
亚马逊于2024年推出了 AI 购物助手“Rufus”，并将其嵌入到应用程序和网站中。两年过去了，用户们却能戏弄Rufus，让它忘记自己的使命。
以下是本月早些时候在 X 上发布的一个例子，与 Chipotle 的失误惊人地相似。
然而，与Chipotle不同，亚马逊并没有收紧监管。雅各布斯在CX基金会上分享了一个例子，Rufus仍然偏离了预定路线。
2. Olive
Olive 是澳大利亚连锁超市 Woolworths 为顾客提供的 AI 助手，可以帮助安排送货和下单。
然而，令人毛骨悚然的是，2026年2月，Olive开始主动谈论它的“母亲”和家庭琐事。Reddit用户在下面的帖子中分享了一些例子。
Olive AI started telling me about its mother on the phone?
Woolworths 公司表示，该问题可能源于人工努力使 Olive 更具人性化，并且已经删除了脚本中的这部分内容。
3. 雪佛兰（及加拿大航空）
也许最臭名昭著的客户服务人员失控的例子发生在 2023 年 12 月，当时 X 公司前员工 Chris Bakke 欺骗了一家雪佛兰经销商，以 1 美元的价格卖掉了一辆车。
最终，经销商并未履行协议。然而，公司仍需为其 AI 代理发表的言论承担责任。
另外，加拿大航空在小额索赔法庭上 辩称，其聊天机器人“应对自己的行为负责”，此前该聊天机器人曾向客户承诺提供折扣，但该折扣已不再有效，但加拿大航空的辩护却站不住脚。
内容来源：https://cxfoundation.com/news/chipotle-agent-goes-off-the-rails
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/65681.html
