AI Agent 的价值在于能替人行动，但行动意味着后果。一封发错对象的邮件、一次误删的数据、一笔错误的付款，都可能造成难以挽回的损失。“人在回路”（Human-in-the-loop）的核心思想是：让 Agent 自主完成低风险工作，在高风险节点把最终决定权交还给人。 设计得好，它既不会拖慢效率，又能守住底线。

为什么不能完全放手

即使模型能力持续提升，完全自主的 Agent 仍面临几个难以消除的问题：

  • 模型可能误解用户意图，而且不一定会主动确认；
  • 外部内容可能包含误导或恶意指令，让 Agent 偏离任务；
  • 很多操作不可逆，一旦执行无法撤回；
  • 出了问题，责任最终仍由人和组织承担。

因此，问题不是“要不要人工介入”，而是“在哪里、以什么方式介入”。

按风险给操作分级

一个实用的方法是把 Agent 能执行的操作按风险分为几个等级：

低风险：自动执行

只读操作和可轻松撤销的操作，例如搜索信息、读取文件、生成草稿、在沙箱中运行代码。

中风险：执行后通知

影响有限且可撤回的操作，例如创建日程、整理文件夹、给自己发提醒。执行后告知用户，并提供撤销入口。

高风险：事前确认

对外可见或不可逆的操作，例如发送邮件和消息、公开发布内容、删除数据、修改权限、提交表单。必须在执行前展示具体内容，由用户明确批准。

禁止：不授予能力

某些操作根本不应开放给 Agent，例如修改自身权限、导出全部用户数据。

设计不打扰的审批体验

人工确认如果设计不当，会让用户疲于点击“同意”，最终形同虚设。几个原则：

  1. 展示具体内容而非抽象描述：不是“是否发送邮件？”，而是完整显示收件人、主题和正文；
  2. 合并同类请求：批量操作一次性确认，而不是逐条弹窗；
  3. 支持修改后批准：用户可以直接编辑草稿再发送，而不只是同意或拒绝；
  4. 记住用户的偏好：对用户明确授权过的低风险操作类型，可以逐步减少确认，但不可逆操作始终保留确认；
  5. 拒绝即是答案：用户拒绝后，Agent 不应换个方式重试同一操作。

权限边界的工程实践

最小权限原则

Agent 只获得完成当前任务所需的最小权限。查询订单的 Agent 不应拥有退款权限。

使用用户身份而非超级账号

工具调用应以当前用户的身份和权限执行，避免 Agent 通过服务账号访问用户本无权访问的数据。

凭证隔离

不要把密码、密钥直接暴露在模型上下文中，由执行层安全地注入凭证。

完整审计

记录每一次操作的发起者、内容、确认人和时间，便于事后追溯。审计日志同时是改进 Agent 的重要数据来源，参见 AI Agent 常见故障模式。

与安全防护的配合

人在回路是最后一道防线，但不应是唯一防线。输入过滤、工具权限隔离、对外部内容的注入防护同样重要，相关内容可参考 AI 应用安全清单和提示注入攻击与防御。

小结

好的人在回路设计，让 Agent 在低风险区域高速运转，在高风险节点稳稳停下。按风险分级、展示具体内容、尊重用户的拒绝、配合最小权限和审计，才能让人放心把更多工作交给 Agent。