S57：Trust Boundary、Least Privilege、Purpose 与 Retention

内容类型：预习教材（不代表已完成）
日期：2027-01-18
阶段：P2 · AI Systems Engineering 90
总路线：Day 147 / 360
周次：W9 · Security、Privacy、AI Supply Chain
节奏：周一概念与阅读
状态：教材已备；学习未完成
标签：trust-boundary、least-privilege、purpose-limitation、retention、threat-model

一句话定义

AI 系统安全从识别资产与信任边界开始，再用最小权限、目的限制和保留策略约束主体在特定时间内对特定数据与工具能做什么。

学习目标

1. 能识别 data、model、artifact、tool、Agent、human 与 provider 之间的信任边界。
2. 区分 authentication、authorization、delegation、approval、purpose 和 retention。
3. 画一张简化威胁图，并把控制放到实际边界而非统一“安全层”。
4. 理解最小权限包含能力、资源、时间、目的和数据范围多个维度。

核心知识

• Asset 不只是模型权重，还包括 prompt、索引、工具凭证、策略、评测集、trace、人工决定和业务数据。
• Trust boundary 是信任假设改变的位置，例如浏览器→Agent runtime、runtime→模型 provider、tool gateway→核心系统、平台→第三方 artifact。
• Authentication 回答“是谁”；authorization 回答“能否对资源做动作”；delegation 回答“代表谁、被授予什么”；approval 是特定业务决定；purpose 约束数据为何使用；retention 规定保存多久和如何删除。
• Least privilege 不只是缩小 scope。还包括资源级过滤、短时凭证、只读默认、网络 egress allowlist、金额/链限制和高风险人工确认。
• 数据生命周期从收集、传输、使用、派生、观测、归档到删除。模型输出、embedding、cache 和日志都是派生数据，也需要保留与删除语义。
• 威胁模型是当前范围内的假设与优先级，不是罗列所有攻击名称。每项控制要说明残余风险和 owner。

机制与推导

可按数据流画边界：

Human/User
  -> UI/Agent session
  -> Runtime + policy
  -> Model provider / local model
  -> Tool gateway
  -> Core system / blockchain RPC
  -> Telemetry and audit stores

每条箭头问：传什么、谁发起、凭什么授权、接收方能否再传播、保留多久、失败时泄露什么。一个简化授权谓词：

[ allow = authenticated \land delegatedAction \land resourceMatch \land purposeMatch \land withinTime \land policyAllows ]

即使 allow=true，高风险业务仍可能需要 approval；approval 不能扩张 token 原本没有的能力。

Retention 要与恢复/审计平衡。保留所有 prompt 便于排障，却扩大隐私与攻击面；全部不留则难以调查。可保留结构化元数据、哈希、受控 evidence reference 和短期脱敏样本，而非默认完整正文。

最小练习或观察步骤

1. 选择一个合成 AML 或钱包 Agent，用矩形标资产、箭头标数据流、虚线标信任边界。
2. 为每个边界写主体、资源、动作、目的、凭证和保留时间。
3. 找出三项高价值资产和三种现实威胁，不追求穷举。
4. 为每项威胁选择预防、检测、响应控制，并写残余风险。
5. 对 telemetry 单独决定哪些字段不收集、短期保留或仅保存引用。
6. 不使用真实客户、账户、私钥或调查数据；不声称完成正式威胁评估。

常见误区与边界

• 把模型 provider、插件和内部服务都视为同一信任域。
• token 有 scope 就忽略具体资源、目的和委托链。
• 人工批准可以绕过所有技术权限。
• 只保护输入，忽略输出、embedding、cache、trace 与导出文件。
• 为审计永久保存所有敏感正文，却没有访问和删除机制。
• 本日是学习型简化威胁图，不等于合规评估、渗透测试或生产安全认证。

系统 / 金融 / Web3 场景连接

金融调查数据只能为明确案件目的使用；分析师、Agent 和工具的权限应受案件分配、角色和时间约束。模型 provider 不应默认接收完整身份字段。Web3 钱包 Agent 的关键资产是私钥/签名权而非公开链数据；读取余额、模拟交易、请求签名和广播必须处于不同信任与审批边界。

自检问题

1. authentication、delegation、authorization 与 approval 有何区别？
2. 最小权限除了 scope 还包含哪些维度？
3. 模型输出和 telemetry 为什么也属于数据生命周期？
4. 一个控制怎样记录残余风险与 owner？

专业课程对齐

• 阅读 Kubernetes 官方文档 中 Security、RBAC、Secrets、Network Policies 与 multi-tenancy 导航，重点观察身份、资源、网络和租户边界怎样分层实施。
• 阅读 Model Context Protocol 官方文档 的 security/authorization 与 tools 内容，将客户端、server、resource server 和用户同意映射到 Agent 工具边界。
• 阅读 Stanford CS329S 的 system design、deployment 和 monitoring 课程结构，思考安全、隐私与维护为何必须贯穿 ML 生命周期而非最后附加。

深入学习提示

先画数据流再谈攻击。对每个箭头做“最小化”练习：能否少传字段、缩短凭证、限制目的、减少保留或用引用代替正文。深入时用一个合法用户被错误 Agent 委托的反例检验 authorization，避免只关注外部攻击者。

学后填写区

• 选择的系统与资产：
• 信任边界与身份链：
• 三项威胁 / 控制 / 残余风险：
• 数据保留与删除边界：
• 尚未理解的问题：