一页纸治理设计

阶段: B16 · 治理一页纸 + AI 原型 + 可用性（Day 151-160） 标签: #governance-onepager #raci #adr #effective-challenge

今日导引（由浅入深）

Day 151-153 我们分别钉死了三套框：OCC 2026-13（内部模型验证）、EU AI Act Art.50（对外披露）、NIST 600-1（GenAI 风险清单）。三套框各自一段，但 hiring manager / 审计不会读三份文档——他们要的是一眼看清「谁负责、控什么、证据在哪」。今天在 B16 曲线上的动作是收口：把三框收敛成单页 RACI + 8 控制点表，并写下本批最关键的一条 ADR——为何用 cohensKappa.ts 独立 harness 替换 evalBaseline 自评（直接引 OCC「有效挑战」与 Anthropic 评测独立性）。今天的最小可判定产出：docs/AML_GOVERNANCE_MAP.md v1（1 页 + 8 控制点 + ADR 段）committed。

1. 机理精读

一页纸治理的目标函数是「可被快速有效挑战」。 OCC 2026-13 的灵魂是 effective challenge——验证者要能真正质疑。如果治理文档是 30 页流程手册，没人能快速挑战它；如果是一页 RACI + 控制点表，审查人 5 分钟就能问出「这个控制的证据文件在哪、谁批准、为什么这样设计」。一页纸不是为了省事，而是为了让「有效挑战」在物理上可行——超过一页就失去这个属性。

目标读者有三类，诉求不同但都靠这一页满足：

• OCC/审计：要看「独立验证 + 有效挑战」是否落实——看控制点③⑧ 与 ADR。
• hiring manager（AISA 岗）：要看「数据流/评测/成本/为什么」四问可答——看控制点全表 + 证据指针。
• 内部合规官：要看「谁负责、SAR 报送门是否人审」——看 RACI 列 + 控制点①。

一页纸的设计就是让三类读者各取所需而互不冲突。

RACI + 控制点表的结构。 每个控制点一行，列：控制名 / 框架来源（OCC / AI Act / NIST / FinCEN）/ RACI（谁 Responsible、谁 Accountable、谁 Consulted、谁 Informed）/ 证据文件（指向真实代码或文档）。本仓的 8 控制点对应已建能力，逐条列出（控制名 → 证据文件 → 满足框架）：

1. HITL 不可自动报送 → src/aml/hitl.ts → OCC 人工监督 / AI Act Art.14 / FinCEN
2. append-only 审计轨迹 → src/aml/auditTrail.ts + hitl.ts audit → OCC 可追溯 / DORA / ISO 42001
3. 外部金标 eval（非自评） → src/aml/groundTruthEval.ts → OCC 独立验证 / NIST Measure / FinCEN 效果
4. 类型学规则 + 混淆矩阵 → src/aml/typology.ts + confusionMatrix.ts → NIST Measure / 可解释性
5. 对抗 / 安全 eval → src/agent/eval/tasks.ts → NIST Manage（红队）/ AI Act 鲁棒性
6. 成本与时延可观测 → src/agent/eval/dashboard.ts + stats.summarizeLatency → DORA / FinCEN cost-per-case
7. 模型清单 + 版本号 → src/agent/config/providers.ts + 报告 commit/model 字段 → OCC inventory
8. 独立 κ 校验 → src/agent/eval/cohensKappa.ts + gate.ts minKappa → OCC 有效挑战 / Anthropic 独立性

每行都能落到一个真实证据文件——这是「证据在哪」可被指认的关键，也是 effective challenge 能落地的物理前提。

核心 ADR：自评闭环 → 独立 κ harness。 这是本批治理的技术心脏。evalBaseline.ts 的循环自评（同一规则既预测又当金标）违反两条独立性原则：

1. OCC 2026-13「有效挑战」——验证者必须独立于被验证模型；自评者既是运动员又是裁判。
2. Anthropic「Demystifying evals」(2026-01) 的评测独立性——同源裁判会系统性高估表现。

ADR 的决议是：用 src/agent/eval/cohensKappa.ts 这个独立、纯函数、可单测的 harness，把 LLM 裁判与人工金标的一致性量化为 Cohen's κ（扣除偶然一致），并要求 κ 达标（gate.ts 的 minKappa）才认其为「独立验证证据」。这条 ADR 把「为什么换」写成可被审计追溯的决策记录。

ADR 标准格式（落 GOVERNANCE_MAP）。

• Context：evalBaseline.ts 同源自评，规则既预测又评分，金标来自同作者合成生成器。
• Decision：弃用自评作为「独立验证证据」；改用 groundTruthEval.ts（外部金标）+ cohensKappa.ts（裁判与人标 κ 校准）；κ 进 gate.ts 的 minKappa 硬门。
• Rationale：① OCC 2026-13「有效挑战」要求验证者独立；② Anthropic「Demystifying evals」(2026-01) 指同源裁判系统性高估。
• Consequences：需投入 ≥50 条人工金标 + 一次真实模型 run（key-gated）；在此之前自评数字只作内部冒烟，不作合规证据。
• Status：Accepted（2026-06）；落地 gated 在数据/手标。

三框收敛的逻辑边界：OCC 管「流程独立性」，AI Act 管「披露义务」，NIST 管「风险清单覆盖」，FinCEN 管「SAR 30 天 + OFAC 硬停 + 效果」。一页纸把它们映射到同一组控制点上。

「一控制多框」的两个范例（收敛的价值所在）：

• hitl.ts（HITL 闸门）同时满足：OCC 人工监督 + AI Act Art.14 人类监督 + FinCEN「SAR 是人证法律文件」——一个 50 行状态机覆盖三框的人审要求。
• cohensKappa.ts（独立 κ）同时满足：OCC「有效挑战/独立验证」+ NIST 600-1「Measure」+ Anthropic 评测独立性——一个纯函数 harness 覆盖三处验证独立性诉求。

一控制多框意味着治理图行数远少于框架条款数，这正是「一页纸装得下」的数学前提。

资源出处：OCC Bulletin 2026-13（2026-04）+ 内部 ADR。

2. 推导 / 手算 / 代码走读

8 控制点的证据文件均为真实符号，逐条走读关键几个：

• 控制点①「HITL — SAR 不可自动报送」→ src/aml/hitl.ts：状态机 draft → pending_review → approved → filed，file(r, now) 仅允许从 'approved' 报送，否则抛 'SAR can only be filed after human approval (HITL gate)'；approve() 要求前置 'pending_review'；canAutoFile() 是类型级 false——调用方翻不动。满足 OCC 人工监督 / AI Act Art.14 / FinCEN。
• 控制点③「外部金标 eval（非自评）」→ src/aml/groundTruthEval.ts：binaryEval(items, normalLabel) 接 {label, predicted} 对，两端都可来自外部源（公开标注集 + 真实模型），与同作者自评的 evalBaseline.ts 划清界限。满足 OCC 独立验证 / NIST Measure / FinCEN 效果。
• 控制点⑧「独立 κ 校验」→ src/agent/eval/cohensKappa.ts：cohensKappa(a, b) 返回 {kappa, po, pe}，其中 κ=(po−pe)/(1−pe) 扣除偶然一致；cohensKappaWithCI 再加 percentile bootstrap 95% CI——CI 宽窄告诉你「标注集够不够大」（小 N → CI 宽，这正是 P1 要 N≥50 的原因，写在源文件注释）。这是 ADR 里「替换自评」的落地工具。
• κ 公式手算示例（验 cohensKappa 行为）：设 2 类标注，n=10，裁判与人标一致 8 次 → po=0.8；若两者各自约一半标 suspicious、一半 normal，则 pe≈0.5²+0.5²=0.5；κ=(0.8−0.5)/(1−0.5)=0.6。κ=0.6 恰是「可信裁判」的常用下界——与 gate.ts 的 minKappa 阈值逻辑对得上。注意：这是手算演示固定值，非任何真实模型测量。
• 退化边界：源码注释指出，若两裁判都只用同一个类别（margins 退化）→ pe=1，κ 约定为「完全一致取 1，否则取 0」。做 κ 时要警惕这种退化标注集。
• κ 接进 fail-closed gate：src/agent/eval/gate.ts 的 checkGate 中，若 thresholds.minKappa 已配但 current.judgeHumanKappa 非有限值，记 violation（'judgeHumanKappa absent or non-finite (minKappa configured)'）；若低于 minKappa 则记 'kappa X < min ...'。这把 ADR 的「κ 达标才算独立验证」做成了不可绕过的 CI 断言——没有 κ 或 κ 不达标，merge 直接红。
• CI 数学含义：cohensKappaWithCI 的 percentile bootstrap 重采样 N 个配对 B=2000 次，取 2.5/97.5 百分位。N 越小 CI 越宽——所以 ADR 的 Consequences 里写「需 ≥50 手标」不是拍脑袋，是为了让 CI 下界站得住（与 B15 的 A/B N=29 不显著同源教训）。

3. 今日实战

1. 完成 docs/AML_GOVERNANCE_MAP.md 正文：8 控制点表，每点映射框架来源 + RACI + 证据文件（如 src/aml/hitl.ts / src/aml/groundTruthEval.ts / src/agent/eval/cohensKappa.ts）。
2. 写一段 ADR，论证「为何用 cohensKappa.ts 独立 harness 替换 evalBaseline 自评」——理由直接引 OCC 2026-13「有效挑战」与 Anthropic 评测独立性原则。
3. 全文限 1 页 + 8 控制点 + ADR 段，所有日期 version-pin 并核验（SR 11-7 rescinded 2026-04-17 / Art.50 2026-08-02 / 高风险 2027-12-02 / NIST 600-1 2024-07）。
4. 保留「Open items (honest)」段：external-ground-truth eval wired-but-not-run、审计哈希 FNV-1a（非密码学，prod 需 SHA-256）、judge-human κ 需 N≥50。
5. 验证三类目标读者（OCC/审计、hiring manager、合规官）各能在一页内找到其关心的控制点与证据指针。

4. 今日实测 / 产出

• docs/AML_GOVERNANCE_MAP.md v1（1 页 + 8 控制点 + ADR 段）committed ✅ 已存在并落地，日期均已核验。
• 8 控制点均指向真实证据文件（hitl.ts / auditTrail.ts / groundTruthEval.ts / typology.ts / confusionMatrix.ts / tasks.ts / dashboard.ts / providers.ts）。
• 诚实状态保留：external-ground-truth eval wired but not yet run（数字 data/key-gated）；审计哈希 FNV-1a 32-bit 非密码学（prod 需 SHA-256 + WORM）；judge-human κ 需 ≥50 手标 才有统计意义。
• κ=0.6 等数值仅为本日手算演示，非真实测量；现有真实评测数字仍是 V4-Flash 79.3% / V4-Pro 89.7%。

本日自检清单（可勾对）。

• 全文 ≤1 页 + 8 控制点表 + ADR 段，committed。
• 8 控制点每行指向真实证据文件 + 框架来源。
• ADR 显式引 OCC 有效挑战 + Anthropic 独立性两条理由。
• 所有日期 version-pin 并核验（2026-04-17 / 2026-08-02 / 2027-12-02 / 2024-07）。
• 独立 κ 真实数字——待 Day 155 跑（需 key + ≥50 手标），本日不勾。

5. 常见误区 / 陷阱

• 把治理图写成多页流程手册——一页纸的价值在于可被快速「有效挑战」，超页即失去用途（本日头号反模式）。
• ADR 只写「换了」不写「为什么换」——ADR 的价值是可追溯的决策理由，必须显式引 OCC 有效挑战 + Anthropic 独立性。
• 控制点写「我们有 HITL」却不指证据文件——审查人要「证据在哪」，每行必须落到真实文件路径。
• 把 κ=0.6 手算值当成本仓真实 κ——judge-human κ 仍 gated（需 ≥50 手标），手算只是演示公式。
• 一控制只标一个框架——同一控制常同时满足多框（如 hitl.ts 覆盖三框），只标一处会让审查人误以为别的框架没覆盖。
• 把「wired」写成「done」——external-ground-truth eval 是 wired but not run，治理图 Open items 必须如实标 gated，否则就是合规造假。

6. 学习资源（每条带 YYYY-MM）

• OCC Bulletin 2026-13 "Model Risk Management"（2026-04）——有效挑战原则，ADR 主引。
• Anthropic "Demystifying evals"（2026-01）——评测独立性，ADR 第二引（Day 155 展开）。
• EU AI Act Art.14 人类监督 + Art.50 透明度（2026，Art.50 生效 2026-08-02）——控制点框架来源。
• Michael Nygard "Documenting Architecture Decisions"（ADR 格式经典，2011；本日 ADR 体例打底，理由引 2026 框架）。
• NIST AI 600-1 GenAI Profile（2024-07）——Measure 功能，控制点框架来源。
• 本仓 docs/AML_GOVERNANCE_MAP.md + src/agent/eval/cohensKappa.ts + src/aml/hitl.ts（2026-06）——产出物与证据文件。
• 本仓 src/aml/auditTrail.ts（2026-06）——控制点② append-only 审计轨迹证据（FNV-1a 演示，prod 需 SHA-256）。
• FinCEN（BSA）+ FATF：SAR 30 天 / CTR > $10,000/日 / OFAC SDN 硬停（FinCEN 2026 effectiveness reform；FATF AI Horizon Scan 2025-10）——控制点的 FinCEN 来源。
• ISO/IEC 42001 AI 管理体系（可认证）+ DORA（EU 运营韧性，in force）——控制点②③⑥ 的补充框架来源。

SOTA检查 (2026-06 更新)

• 当前主流方案：三框（OCC 2026-13 + AI Act Art.50 + NIST 600-1）收敛为一页 RACI + 控制点 + ADR 的做法 current；一页纸 + 证据指针是金融 GenAI 治理评审的可行格式。
• 是否仍 SOTA：是。收敛逻辑与各框版本均为 2026-06 最新；ThoughtWorks Radar 等也把「治理可追溯一页纸 + ADR」列为 AI 工程良好实践。
• 过时黑名单（AVOID）：把治理图写成多页流程手册（失去「可被快速有效挑战」属性）；控制点不指证据文件；把 wired 标成 done。
• 下次复查点：待 2026-08-02 Art.50 生效后复查披露控制点措辞；OCC 2026-13 / Fed SR 26-2 最终文本对外发表前重验；ISO 42001 认证若启动则补「认证状态」列。

衔接

• 昨天：Day 153 — NIST GenAI Profile（把 6 类失败分类法挂到 12 类风险算覆盖率）。
• 今天：三框收敛为一页 RACI + 8 控制点 + ADR，核心决议=用独立 κ harness 替换 evalBaseline 自评。
• 明天：Day 155 — 评测独立性（Anthropic Demystifying evals 2026-01），用 cohensKappa.ts 跑 V4 标注 vs 人工金标算 κ。