Architecture

摘要：随着 AI Agent 从理论走向实践，如何构建一个稳定、可扩展且可靠的生产级系统成为核心挑战。本文深入探讨了 Shopify 工程团队在打造其 AI 助手 Sidekick 过程中的经验教训，重点介绍了他们为解决“工具复杂性问题”而设计的 JIT（Just-in-Time）指令架构，以及如何建立一套与人类判断对齐的、可信赖的 LLM 评估体系。

AI Agent 正在从实验性技术转变为企业运营的核心组成部分。但一个能在演示中完成任务的原型 Agent，与一个能在生产环境中可靠运行、处理高风险任务的生产级 Agent 之间，存在着巨大的鸿沟。其根本区别在于一个更成熟、更严谨的操作生命周期。

2025年，几乎所有科技媒体都在预言，这将是“AI Agent之年”。“自主AI将变革工作”、“代理是下一个前沿”……这些标题充斥着我们的信息流，描绘了一个由无所不能的AI助手主导的未来。然而，当我们从云端的炒作回到满是泥泞的现实，尤其是听取那些日夜奋战在一线的AI工程师的声音时，一幅截然不同的画面浮现出来。

在大型语言模型（LLM）的浪潮中，我们一直在探索如何让AI的回答更精准、更可靠。检索增强生成（RAG） 应运而生，通过引入外部知识库，成功地为LLM的回答提供了事实依据，显著减少了“一本正经地胡说八道”（即“幻觉”）。然而，技术的演进从未停歇。当我们还在赞叹RAG的巧妙时，一个更强大的范式——Agentic RAG——已经悄然兴起，它预示着AI正从一个被动的“问答机器”向一个主动的“任务执行者”转变。