AI Agent Autonomy / Delegation Architecture 解读

面向对象: AI Product Architect / AI PM / Solutions Architect / Senior BA / AI Governance Lead。 核心问题: Agent 的风险不在于它会不会聊天, 而在于它能不能代表人或组织采取行动。自主权必须被拆成可授权、可撤销、可审计、可降级的 delegation architecture。 学习目标: 建立 AI autonomy levels、delegation contract、tool authority、human escalation、kill switch、runtime monitoring 和 evidence 的完整设计语言。

---

Source Anchors

一句话:

Autonomy is delegated authority, not model intelligence.

---

1. 为什么 Autonomous Agent 是产品架构问题

很多 AI 产品会经历三个阶段:

assistant answers
  -> copilot suggests
  -> agent acts

风险也随之变化:

所以自主权不是一个 UI 开关。它是一个架构边界:

• 什么任务可以被委派。
• 谁授权 agent 做这件事。
• agent 能读什么数据。
• agent 能调用什么工具。
• agent 能不能写入系统状态。
• 什么时候必须升级给人。
• 什么时候自动停止。
• 事后如何证明它做了什么。

---

2. Autonomy Level Taxonomy

PM/架构师要避免一句话需求:

让 Agent 自动处理客户问题

应该改写成:

Agent 可以在 L3 推荐分流动作, 在 L4 自动创建内部 case task, 但不能自动承诺赔付、改变账户状态或发送监管敏感通知。

---

3. Delegation Contract

Delegation contract 是 agent autonomy 的核心 artifact。

没有 delegation contract 的 agent, 实际上是一个不清楚责任边界的影子员工。

---

4. 架构模式

4.1 Approval-before-action

AI 可以计划和草拟, 但写入型动作必须等待人类确认。

适合:

• 客户通知。
• 账户状态变更。
• 费用减免。
• 投诉结论。

关键设计:

• 人类看到原始证据、AI 理由、动作影响。
• 审批 UI 明确显示该动作会改变什么。
• 审批记录进入 evidence trail。

4.2 Bounded execution

AI 可以自动执行低风险、可回滚、可监控的动作。

例子:

• 创建内部 follow-up task。
• 给 case 添加非最终备注。
• 把客户问题分类到队列。

边界:

• allowlist only。
• no irreversible action。
• no customer commitment。
• no hidden financial decision。

4.3 Supervisor agent

一个 supervisor 负责检查 worker agent 的计划、权限、证据和异常。

注意:

• supervisor 不能只是另一个没有权限边界的 LLM。
• supervisor 应该结合 policy engine、规则、trace 和 threshold。
• 高影响动作仍然需要 human gate。

4.4 Circuit breaker / kill switch

kill switch 不是失败后手工删代码。它应该是产品能力:

• disable specific tool scope。
• disable specific agent role。
• stop a workflow class。
• force all actions to draft-only。
• route all high-risk cases to human queue。

---

5. 金融零售案例

5.1 Customer service copilot

推荐 autonomy:

• L1: 查政策、解释术语。
• L2: 草拟回复。
• L3: 推荐 case category。
• L4: 自动创建内部 follow-up task。
• 禁止: 自动承诺赔付、修改合同、关闭投诉。

5.2 AML investigation assistant

推荐 autonomy:

• L1/L2: 总结交易、草拟 case narrative。
• L3: 推荐 red flags 和下一步调查。
• L4: 自动拉取公开证据或内部只读数据。
• 禁止: 自动提交 SAR、自动解除客户风险标记。

5.3 Lending policy assistant

推荐 autonomy:

• L1: 检索政策和解释条件。
• L2: 草拟 policy rationale。
• L3: 推荐需要人工复核的缺口。
• 禁止: 自动批准/拒绝贷款、自动改变 risk grade。

5.4 Wealth advisory assistant

推荐 autonomy:

• L1: 教育性解释。
• L2: 草拟 meeting note。
• L3: 推荐 advisor review items。
• 禁止: 未经授权给出个人化投资建议或自动下单。

---

6. 风险与控制映射

---

7. PM / BA / Architect 分工

高级 BA 的价值不是写 user story, 而是把任务、权限、证据、例外和责任连接起来。

---

8. Autonomy Decision Record

# AI Autonomy Decision Record

Use case:
Agent role:
Business owner:
Risk tier:

Approved autonomy level:
Allowed tasks:
Prohibited tasks:
Read data scope:
Write/action scope:
Tool allowlist:
Human approval points:
Escalation triggers:
Kill switch owner:
Monitoring signals:
Evidence retained:
Review cadence:
Residual risk:
Decision:

---

9. 面试表达

30 秒版本:

我不会先问 agent 能不能做, 而是先定义它被委派了什么权力。我的做法是把 agent autonomy 拆成任务边界、数据边界、工具边界、写入权限、人工升级、撤销机制和运行证据。低风险可回滚任务可以 bounded execution, 高影响客户或金融动作必须 approval-before-action 或 human escalation。

2 分钟版本:

Agent 自主权本质上是 delegated authority, 不是模型聪明程度。设计时我会先给 use case 定 risk tier, 然后做 autonomy level decision。比如客服 agent 可以读政策、总结客户历史、草拟回复、创建内部 follow-up task, 但不能自动承诺赔付或关闭投诉。 架构上我会使用 delegation contract: 明确 delegator、agent role、allowed task、prohibited task、data scope、tool scope、write authority、confidence gate、escalation trigger、revocation 和 evidence。对写入型动作, 使用 tool gateway、policy gate、approval-before-action、trace logging 和 kill switch。 上线后监控不是只看 usage, 而是看 unauthorized action、escalation miss、override rate、incident signal、tool failure、customer complaint 和 reviewer load。这样可以把 AI agent 从 demo 变成可治理的生产系统。

---

10. Portfolio Exercise

选择一个金融零售 AI use case:

1. 画出当前流程。
2. 标出哪些步骤是 read、recommend、draft、execute。
3. 为每个步骤分配 autonomy level。
4. 写 delegation contract。
5. 设计 escalation triggers。
6. 设计 tool allowlist。
7. 设计 kill switch。
8. 设计 evidence query: 事故发生时如何复盘。

输出:

• 1 页 autonomy decision record。
• 1 张 tool authority matrix。
• 1 张 escalation flow。
• 1 个面试讲述版本。