S12:Reproducibility、Lineage、AI BOM、Promotion 与 Rollback
可复现性保证过程有足够上下文可重建,lineage 连接输入与输出,AI BOM 列明组成与来源,promotion/rollback 则管理某个明确 bundle 在运行生命周期中的采用状态。
内容类型:预习教材(不代表已完成)
日期:2026-12-04
阶段:P2 · AI Systems Engineering 90
总路线:Day 102 / 360
周次 / 节奏:W2 · 周五知识整理
状态:教材已备;学习未完成
主题:W2 概念连接、AI BOM、release lifecycle
一句话定义
可复现性保证过程有足够上下文可重建,lineage 连接输入与输出,AI BOM 列明组成与来源,promotion/rollback 则管理某个明确 bundle 在运行生命周期中的采用状态。
学习目标
- 能把 W2 五类概念连接成一个从实验到回退的闭环。
- 能区分 manifest、lineage、BOM、registry 和 audit trail 的职责。
- 能提出一组关键字段,而不是堆积无用途元数据。
- 能对本周知识做轻量总结,不设置分数与通过门槛。
核心知识
Manifest 描述一个 bundle 当前引用什么;lineage 描述这些产物怎样从输入与运行产生;AI BOM 强调系统组件、依赖、提供方、版本、许可与来源;registry 赋予版本受管身份和状态;audit trail 记录状态变化与原因。它们有重叠字段,但回答的问题不同。把所有内容塞进一个 JSON 不等于职责清楚。
可复现性应先定义目标:复查当时采用的字节组合、重跑数据变换、重新训练相近模型、还是复原线上请求路径。随机算法、外部 provider、实时数据和硬件差异会限制严格复现。诚实记录环境和不可控依赖,比宣称“一键完全复现”更可靠。
Promotion 需要最少充分证据,证据强度应随风险与变化面调整,不需要把本学习计划变成审批训练。Rollback 需要已知良好 bundle、流量切换机制和数据/副作用处理。若 schema 已迁移或新版本产生外部写入,技术版本回退还要配合兼容与补偿。
机制与推导
可把发布链写成:
run → artifacts → immutable versions → bundle/BOM
→ candidate → observed evidence → promotion
→ runtime signals → keep / rollback / supersede
Lineage 是图,registry 是带状态的索引,audit 是时间序列。一次发布的可解释性可粗略理解为 coverage = 已锁定且可解析的关键依赖 / 已知关键依赖。这个比例不是正式指标,而是提醒遗漏一个高影响组件比多记十个低价值字段更危险。
Rollback time 包含检测、决策、切换和恢复:T_recovery = T_detect + T_decide + T_switch + T_reconcile。只优化 alias 切换无法消除对账时间。
最小练习或观察步骤
- 用一页纸画出上述发布链,为每个节点写一个所有者和一个标识。
- 将 S09 manifest 字段分别标记为 manifest、lineage、BOM 或 audit 主要职责。
- 选一个 prompt-only 变更,写 candidate 证据和 rollback target。
- 再选一个 tool permission 变更,比较证据和恢复为何不同。
- 写下本周最多三个薄弱概念,留待未来回看,不立即补考。
常见误区与边界
- 将 BOM 当作简单依赖清单,忽略来源、许可和提供方。
- 有 manifest 就认为有 lineage;它未必记录产物生成过程。
- 可重跑脚本就宣称可复现,未固定数据和外部服务版本。
- rollback 只考虑模型切换,不考虑 schema、缓存与副作用。
- 周总结变成额外 Gate,消耗学习动力。
系统场景连接
在金融 AI 系统中,内部模型、第三方 API、开源库、提示词、规则与知识快照可能来自不同责任方。AI BOM 与 lineage 让供应链问题可定位,registry/audit 让运行版本可解释。发生质量事件时,需要区分“回到旧回答行为”和“修复已作出的业务动作”;后者常需人工对账与补偿。
自检问题
- Manifest、lineage 和 AI BOM 各自最核心的问题是什么?
- 为什么复现目标必须先定义?
- Tool permission 变化为何比文案变化需要不同证据?
- rollback 的哪部分通常不是 alias 切换能解决的?
专业课程对齐
- 阅读 MLflow 官方文档 中 Tracking、Artifacts、Registry 与 deployment 入口,画出平台对象怎样对应本周发布链。
- 阅读 OpenLineage 官方文档 中 job/run/dataset 和 facets,明确生成过程的 lineage 与发布状态管理并非同一个维度。
- 阅读 Stanford CS329S 的 deployment、monitoring、continual learning 主题,连接上线证据、运行反馈与后续版本选择。
深入学习提示
用提问法压缩概念:它是什么、从哪来、由什么组成、现在在哪个状态、为什么改变、如何恢复。把六个问题分别分配给 registry、lineage、BOM、audit 和 runtime evidence。若两个对象回答同一问题,再检查边界是否重叠合理。最后写一个“信息都记录了但无法回退”的反例,找出缺失的是技术切换还是业务补偿。
学后填写区
- 我的 W2 发布链:
- 五类资产的职责:
- 两种变化的证据差异:
- 三个以内薄弱点:
- 本周最重要的新连接: