AI 底层逻辑与经典论文计划
第一遍学习不要逐批追全量覆盖。先按能力模块读:
AI 底层逻辑与经典论文解读计划
2026-06-30 readability reset: 本文件保留完整论文批次和底层机制说明,但学习顺序以
docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md为主。不要把下面 45 批理解成必须线性读完;它们是知识库索引和深读清单。
系统化读法
第一遍学习不要逐批追全量覆盖。先按能力模块读:
本表为
docs/AI_SYSTEMATIC_LEARNING_ROADMAP_2026.md第 3 节模块表(单一事实源)的视图,如有出入以路线图为准;模块外 24 篇选读池见路线图 3.3。
| 模块 | 重点 | 对应论文笔记 |
|---|---|---|
| 1 | LLM 底座和模型边界 | 01, 04, 05, 10, 11, 22 |
| 2 | RAG、上下文和知识治理 | 02, 13, 14, 23, 31, 93 |
| 3 | Agent、工具和权限 | 03, 12, 15, 16, 21, 27, 42, 99, 100 |
| 4 | EvalOps、发布和证据 | 08, 17, 18, 24, 26, 44, 60, 63, 88, 90 |
| 5 | 模型适配、成本和性能 | 06, 07, 09, 28, 30, 37, 41, 45, 57, 59, 168 |
| 6 | 传统 ML 和决策智能 | 34-36, 47-56(37 为跨模块复用,归属模块 5) |
| 7 | 金融零售落地场景 | 128-147(第一遍必读: 128, 131, 139, 143, 144, 145) |
| 8 | 治理、风险和运营模型 | 58, 78, 82, 95-126, 170-174 |
| 9 | 产品架构、企业架构和组织运行模型 | 64, 67-77, 79-81, 83-94, 150-162 |
每篇论文解读第一遍只读四类内容:
- 核心问题:这篇到底解决什么问题。
- 机制直觉:用自己的话解释,不背公式。
- 架构映射:它如何影响 RAG、Agent、Copilot、Eval、Governance。
- 金融零售案例:它在 AML、KYC、支付、信贷、客服、合规中的位置。
角色化表达、ADR、练习计划和长 checklist 是第二遍/第三遍材料,不是第一遍主线。第一遍要先建立机制、架构和证据判断。
精读入口:
docs/ai-foundations/README.md第一批论文解读:Transformer、RAG、ReAct/Toolformer、InstructGPT/RLHF。 第二批论文解读:CoT/Self-Consistency、LoRA/PEFT、推理优化、LLM-as-Judge/Evals。 第三批论文解读:MoE/Sparse Scaling、Scaling Laws/BERT/GPT/T5 预训练范式。 第四批论文解读:DPO/Constitutional AI/Preference Optimization、Tool Use Security/Prompt Injection。 第五批论文解读:RAG Evaluation/RAGAS/Retrieval Metrics、GraphRAG/Knowledge Graph RAG。 第六批论文解读:Generative Agents/Memory/Reflection/Planning、AutoGen/Multi-Agent Orchestration。 第七批论文解读:Tree of Thoughts/Planning Search、Self-RAG/CRAG/Agentic Retrieval、AgentBench/τ-bench、Mechanistic Interpretability/SAE。 第八批论文解读:Long Context/Lost in the Middle/RULER、DSPy/OPRO/Automatic Prompt Optimization、Reflexion/Self-Refine、Process Supervision/Step-by-Step Verification。 第九批论文解读:Structured Output/Constrained Decoding、Model Routing/Semantic Cache、SWE-bench/WebArena/OSWorld、Mamba/State Space Models。 第十批论文解读:Embeddings/ANN/Vector Search、CLIP/Multimodal Embeddings、Diffusion/Latent Diffusion、Graph Neural Networks/GNN。 第十一批论文解读:Recommender Systems、Learning to Rank/LambdaMART、Feature Stores/Real-Time ML、Zanzibar/Cedar/OPA Authorization。 第十二批论文解读:Federated Learning/FedAvg、Differential Privacy/DP-SGD、Knowledge Distillation/Small Models、Durable Execution/Agent Workflow。 第十三批论文解读:Digital Twin/Simulation、Online Experimentation/CUPED、Data Lineage/Contracts、AI Security Operations。 第十四批论文解读:Time-Series Forecasting、Anomaly Detection、Causal Discovery、Optimization / Operations Research。 第十五批论文解读:Contextual Bandits、Offline Reinforcement Learning、Bayesian Optimization、Calibration / Conformal Prediction。 第十六批论文解读:Data-Centric AI / Snorkel、Active Learning / HITL、Dataset Shift / Drift Monitoring、AI Management System / ISO 42001。 第十七批论文解读:Hidden Technical Debt in ML Systems、CD4ML / MLOps、Human-AI Interaction Guidelines、AI Architecture Decision Records。 第十八批论文解读:AI Requirements Engineering / GQM、AI Quality Attributes / ATAM、AI Safety Engineering / STPA、Sociotechnical AI / Resilience。 第十九批论文解读:AI Capability-Based Planning、Wardley Mapping、Conway's Law / Team Topologies、DORA / SPACE for AI SDLC。 第二十批论文解读:Continuous Discovery / Opportunity Solution Tree、Jobs-to-be-Done / ODI、North Star Metrics / AI Value Measurement、AI Product Operating Model / Empowered Teams。 第二十一批论文解读:AI Portfolio Management / Funding Governance、AI Service Blueprint / Customer Journey / Trust、AI Business Process Reengineering / BPMN / DMN、AI Risk Appetite / Policy Product Management。 第二十二批论文解读:Enterprise AI Reference Architecture / Control Plane、AI Product Line Engineering / Reusable Platform Assets、AI Maturity Model / Roadmap / Capability Assessment、AI Control Library / Assurance Evidence Graph。 第二十三批论文解读:AI Domain-Driven Design / Ubiquitous Language、AI EventStorming / Agent Workflow Discovery、AI Knowledge Work Redesign / Role-Task Architecture、AI Platform Service Catalog / Golden Paths。 第二十四批论文解读:AI Architecture Views / C4 / arc42 / 42010、AI Architecture Fitness Functions / Continuous Governance、Contract-First AI Tool/API Design、AI Traceability Graph。 第二十五批论文解读:AI Enterprise Architecture / TOGAF / ArchiMate / ADM、Banking AI Reference Models / BIAN / FIBO / ISO 20022、AI Semantic Interoperability / RDF / OWL / SHACL、AI Value Stream Management / Flow Metrics。 第二十六批论文解读:AI Regulatory Architecture / EU AI Act / NIST / ISO42001、AI Model Risk Validation / Independent Challenge、AI Third-Party Vendor Contract / Exit Architecture、AI Data Lifecycle Governance / Provenance / Retention。 第二十七批论文解读:AI Agent Autonomy / Delegation Architecture、AI Agent Identity / Delegated Authorization、AI Runtime Evidence / Observability Architecture、AI Portfolio Systemic Risk / Dependency Architecture。 第二十八批论文解读:AI Customer Harm / Redress / Recovery Architecture、AI Fairness / Fair Lending / Bias Control Architecture、AI Explainability / Contestability / Adverse Action Architecture、AI Change Impact / Release Governance。 第二十九批论文解读:AI Continuous Control Monitoring / Assurance Architecture、AI Operational Resilience / BCP / Degraded Mode Architecture、AI Management Information / Board Reporting Architecture、AI Closed-Loop Learning / Corrective Action Architecture。 第三十批论文解读:AI Regulatory Horizon / Obligation Intelligence Architecture、AI Exception / Risk Acceptance / Waiver Architecture、AI Supply Chain / AI BOM / Provenance Architecture、AI Human Review Operations / Capacity Architecture。 第三十一批论文解读:AI Segregation of Duties / Dual Control Architecture、AI Consent / Preference / Purpose-Bound Data Architecture、AI Shadow AI / Citizen Development Governance Architecture、AI Conduct Risk / Suitability / Sales Guardrails Architecture。 第三十二批论文解读:AI Records / Retention / Legal Hold / eDiscovery Architecture、AI Data Residency / Cross-Border / Sovereign AI Architecture、AI Customer Communications / Regulated Content Lifecycle Architecture、AI Financial Crime Typology / Scenario Coverage Architecture。 第三十三批论文解读:AI Intellectual Property / Content Rights / Provenance Architecture、AI Deepfake / Synthetic Identity / Authentication Fraud Architecture、AI Workforce / HR Decision / Employee Monitoring Governance Architecture、AI Incident Disclosure / Liability / Risk Transfer Architecture。 第三十四批论文解读:AI Post-Quantum / Cryptographic Agility Architecture、AI Authorized Push Payment / Scam Intervention Architecture、AI Agent Marketplace / Tool Certification Governance Architecture、AI Customer Vulnerability / Accessibility / Inclusive AI Architecture。 第三十五批论文解读:AI Payment Dispute / Chargeback / Claims Evidence Architecture、AI Collections / Hardship / Delinquency Treatment Architecture、AI Voice AI / Contact Center / Agent Assist Governance Architecture、AI Digital Identity Wallet / Verifiable Credentials / Trust Architecture。 第三十六批论文解读:AI Open Banking / Open Finance / Consented Data Sharing Architecture、AI Personalized Pricing / Offer Decisioning Governance Architecture、AI Document Intelligence / Unstructured Data / Evidence Quality Architecture、AI Privacy Clean Room / Data Collaboration / Measurement Architecture。 第三十七批论文解读:AI Credit Lifecycle / Underwriting / Line Management Governance Architecture、AI Wealth Advice / Robo-Advisor / Best Interest Boundary Architecture、AI Treasury / Liquidity / ALM Forecasting / Stress Evidence Architecture、AI Complaint Intelligence / Root Cause / Regulatory Response Architecture。 第三十八批论文解读:AI Account Opening / KYC / Onboarding Decision Architecture、AI AML Alert Triage / Investigation Workbench Architecture、AI Payment Operations / Reconciliation / Settlement Exception Architecture、AI Regulatory Reporting / Risk Data Aggregation / Attestation Architecture。 第三十九批论文解读:AI Core Banking Modernization / Strangler / Evidence Architecture、AI Requirements Mining / Process Knowledge Extraction Architecture、AI UAT / Regression Certification / Business Acceptance Architecture、AI Product Portfolio Rationalization / Capability Decommission Architecture。 第四十批论文解读:AI Adoption Analytics / Behavior Change / Value Realization Architecture、AI Executive Investment Narrative / Business Case / Board Decision Architecture、AI Stakeholder Decision Coalition / Influence Risk Architecture、AI Workforce Capability Academy / Role-Skill Transformation Architecture。 第四十一批论文解读:AI Delivery Assurance / Control Tower / Release Readiness Architecture、AI Product Operations / Operating Cadence / Outcome Review Architecture、AI Reference Implementation / Pattern Library / Reuse Assurance Architecture、AI Technology Radar / Scenario Planning / Strategic Foresight Architecture。 第四十二批论文解读:AI Product Responsibility / Accountability Boundary Architecture、AI Context Supply Chain / Provenance / Poisoning Defense Architecture、AI Agentic Process Audit / Workflow Replay / Assurance Architecture、AI Organizational Memory / Knowledge Asset Governance Architecture。 第四十三批论文解读:AI Eval Dataset Lifecycle / Golden Set / Test Data Factory Architecture、AI Synthetic User Simulation / Persona Scenario Lab Architecture、AI Human Factors Operations / Cognitive Load / Automation Bias Architecture、AI Procurement Intake / Vendor Evaluation Sandbox / Build-Buy Architecture。 第四十四批论文解读:AI Reasoning Budget / Test-Time Compute / Verifier Cascade Architecture、AI Model Portfolio Benchmarking / Capability Scorecard / Selection Governance Architecture、AI Uncertainty UX / Abstention / Confidence / Escalation Architecture、AI Risk Quantification / Scenario Loss / Control ROI Architecture。 第四十五批论文解读:AI Evidence Integrity / Tamper-Evident Audit Ledger / Attestation Architecture、AI Shadow Mode / Counterfactual Evaluation / Silent Launch Architecture、AI Synthetic Data Governance / Privacy-Utility-Fidelity Architecture、AI Three Lines Governance / Decision Rights / Assurance Operating Model Architecture。
定位: 为什么必须理解 AI 底层逻辑
本计划不是把读者训练成全职 ML Researcher,而是建立一套能和算法、平台、数据、安全、风险、运营和业务负责人共同评审 AI 系统的语言。AI 产品的核心不是“接一个模型 API”,而是把模型、上下文、数据、工具、流程、评估、安全、人类审核和运行证据组织成可靠系统。
如果不懂 Transformer、RAG、Agent、Eval、微调、推理优化和安全边界,就很容易把 AI 项目做成演示,而不是生产系统。演示可以回答一个问题;生产系统必须稳定处理一类问题,并且在失败时可定位、可回滚、可升级、可审计。
学习深度标准不是背公式或追热点名词,而是能画出机制图,解释设计取舍,质疑能力边界,把模型能力映射到业务流程中的输入、决策、动作、反馈和风险控制,并能写出有反转条件的 ADR、eval contract 和 release evidence。
学习边界: 必须懂 / 可以了解 / 暂不深挖
必须懂
- Tokenization: 文本如何被切成模型可处理的 token,以及 token 如何影响上下文、成本和延迟。
- Embedding: token 如何变成向量表示,以及为什么语义检索也依赖 embedding。
- Positional Encoding: 模型如何知道顺序,以及长上下文为什么仍然有位置理解难题。
- Q/K/V Attention: query、key、value 如何构成一次可学习的信息检索。
- Attention score: 点积、缩放、softmax、加权汇聚的直觉。
- Multi-head attention: 多个注意力头如何学习不同关系模式。
- Feed-forward network: 每层如何对 token 表示做非线性加工。
- Residual connection: 深层网络为什么需要学习增量变化。
- Layer norm: 为什么训练和推理需要稳定化。
- Encoder-only、decoder-only、encoder-decoder 的差异。
- Causal language modeling: GPT 类模型为什么用 next-token prediction。
- Masked language modeling: BERT 类模型为什么适合理解、分类、排序。
- Instruction tuning: 为什么基础模型需要指令对齐。
- RLHF / preference optimization: 为什么需要人类偏好和奖励模型。
- RAG: 检索增强生成的链路、边界和失败模式。
- Agent: 模型如何通过工具、状态和循环完成任务。
- Eval: 为什么没有评估就没有可管理的 AI 产品。
- Prompting、RAG、fine-tuning、LoRA 的适用边界。
- KV Cache、batching、streaming、speculative decoding 对延迟和成本的影响。
- Guardrails、权限、审计、HITL 对生产可控性的影响。
可以了解
- 反向传播、梯度下降、cross entropy、perplexity 的直觉。
- Logits、temperature、top-k、top-p 对生成稳定性和创造性的影响。
- Scaling law 的基本含义: 数据、参数、算力如何共同影响能力。
- MoE 的路由、专家、容量因子和负载均衡。
- FlashAttention 的 IO-aware 思路,而不是 CUDA 细节。
- Embedding model、reranker、cross-encoder、bi-encoder 的差异。
- Vector database、全文检索、知识图谱、传统数据库的组合方式。
- DPO、RLAIF、Constitutional AI 的对齐方法差异。
- 多模态模型如何把图像、文本、音频映射到统一表示空间。
- AI observability 中 trace、span、prompt、retrieval、tool call、cost 的记录方式。
暂不深挖
- Transformer 的完整矩阵求导。
- CUDA kernel、分布式训练、ZeRO、FSDP、tensor parallel 的底层实现。
- 强化学习算法的完整数学推导。
- 大规模预训练数据清洗流水线的所有细节。
- 模型压缩、量化、蒸馏的底层数值优化。
- MoE routing loss 和复杂 benchmark 统计显著性的完整证明。
经典论文阅读路线
第一组: Transformer 与预训练范式
- Attention Is All You Need: 理解 Transformer 为什么替代 RNN/CNN 成为通用序列建模骨架。
- BERT: Pre-training of Deep Bidirectional Transformers: 理解 encoder-only、MLM、双向上下文和理解类任务。
- GPT-style decoder-only language modeling: 理解 causal LM、next-token prediction、自回归生成和 scaling。
- Language Models are Few-Shot Learners: 理解 in-context learning、few-shot prompt 和规模效应。
- T5 / text-to-text framing: 理解把多种 NLP 任务统一成文本到文本问题的产品价值。
第二组: 指令、对齐和推理
- InstructGPT / RLHF: 理解从“会续写”到“会听指令”的关键转变。
- Chain-of-Thought Prompting: 理解显式中间推理步骤的收益、成本和幻觉风险。
- Self-Consistency: 理解多路径采样和投票如何提升复杂推理可靠性。
- Constitutional AI: 理解用原则、批评和修订替代部分人工偏好标注。
- LLM as Judge / eval: 理解用模型辅助评估输出质量的机会、偏差和治理要求。
第三组: 检索、工具和 Agent
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: 理解 RAG 的论文原型。
- ReAct: Synergizing Reasoning and Acting: 理解 reasoning trace 与 tool action 交替循环。
- Toolformer: 理解模型如何学习何时调用工具。
- MRKL / tool-augmented LLM: 理解模型与外部专家系统组合。
- WebGPT / browsing agents: 理解浏览、引用、检索和生成之间的产品结构。
第四组: 高效适配和系统优化
- LoRA: Low-Rank Adaptation of Large Language Models: 理解低成本参数高效微调。
- Mixture of Experts: 从 Sparsely-Gated MoE 到 Switch Transformer、Mixtral,理解稀疏激活。
- FlashAttention: 理解注意力计算的 IO 瓶颈与训练、推理加速。
- KV Cache: 理解自回归推理为什么可以缓存历史 key/value。
- Speculative Decoding: 理解小模型草稿和大模型验证如何降低延迟。
- Quantization / distillation overview: 理解部署成本、质量和硬件之间的折中。
第五组: 生产系统与评估
- HELM / holistic evaluation: 理解多维度模型评估。
- MT-Bench / Chatbot Arena: 理解偏好评测、模型裁判和人类偏好排名。
- G-Eval / LLM-as-a-Judge: 理解生成式任务如何被结构化评分。
- RAGAS / retrieval eval: 理解 context precision、faithfulness、answer relevancy。
- Agent eval: 理解任务成功率、工具调用正确率、恢复能力、成本和安全约束。
Transformer 原理深度解读
1. Tokenization
模型不能直接处理字符串,tokenizer 会把文本切成 token;token 可以是字符、子词、词片段、标点或常见组合。 Tokenization 决定模型看到世界的最小单位,也影响上下文长度、成本、中文处理、代码处理和专有名词处理。 PM 要知道同样 10 页文档,不同语言和格式的 token 成本可能不同;BA 要知道表格、合同、日志、流程编号切分很差时会影响理解;架构师要知道 token 是成本、延迟和上下文容量的基础计量单位。
2. Embedding
Embedding 把 token id 映射成高维向量,这些向量是在训练中学出来的统计表示。 相似语义、语法或上下文中的 token 会形成可计算关系,后续 attention 基于这些表示继续加工。 产品架构中的向量检索也使用 embedding,但生成模型内部 embedding 和向量库 embedding 不一定是同一个模型。
3. Positional Encoding
Transformer 本身没有天然顺序感,positional encoding 或 rotary position embedding 会给 token 注入位置信息。 顺序对合同条款、操作步骤、代码执行、对话历史非常关键。 长上下文能力不只是“能塞更多 token”,还包括模型能否在长序列里保持位置关系、引用关系和约束关系。
4. Q/K/V
Query 表示当前位置想找什么信息,Key 表示每个位置能被什么问题匹配,Value 表示匹配成功后要取走的信息内容。 可以把 Q/K/V 理解成一次可学习的信息检索: 每个 token 都会对其他 token 发起查询。 模型通过 Q 与 K 的相似度决定关注谁,再用 attention weight 对 V 做加权汇聚。
5. Attention Score
Attention score 通常由 Q 和 K 的点积计算,点积越大表示当前位置越应该关注对应位置。 Score 会经过缩放和 softmax 变成概率分布,再用于汇聚 value。 Attention 不是完全可靠的人类解释,但它揭示了模型内部信息流的一部分。
6. Multi-Head Attention
一个 attention head 只能学习一类关系,多头注意力让模型同时学习多种关系。 某些头可能关注代词指代,某些头关注语法依赖,某些头关注代码括号,某些头关注业务约束。 多头机制提升上下文组合能力,但更多头不等于无限更好,系统瓶颈仍然会落到数据、参数、上下文质量和推理成本上。
7. Feed-Forward Network
Attention 负责在 token 之间搬运信息,feed-forward network 负责对每个位置的表示做非线性加工。 可以把它理解为“每个 token 自己内部再思考一次”。 很多模型参数集中在 FFN 中,MoE 通常也是在 FFN 位置引入多个专家网络。
8. Residual Connection
深层网络训练困难,因为信息和梯度会在层层传递中衰减或失真。 Residual connection 让每层学习“增量变化”,而不是每次完全重写表示。 产品层面可以理解为: 模型每一层都在原有理解上补充修正。
9. Layer Norm
Layer norm 用于稳定每层激活分布,减少不同层之间的数值漂移。 Pre-norm 和 post-norm 是 Transformer 架构设计中的重要差异。 PM 不需要掌握公式,但架构师需要知道许多小型架构改进会影响训练稳定性和可扩展性。
10. Decoder-only Generation
GPT 类模型通常是 decoder-only: 训练时看到前面的 token,预测下一个 token;推理时生成一个 token,再追加回上下文继续预测。 LLM 不是一次性“想好整篇答案”,而是一步一步生成。 这解释了 streaming、KV cache、temperature、重复、跑偏和长答案退化。
11. Training Objective
GPT 类模型的基础目标是 next-token prediction;BERT 类模型常用 masked language modeling。 为了预测下一个 token,模型必须学习语法、事实、风格、推理模式和世界知识的统计结构。 模型训练目标不等于业务目标,业务目标需要通过 prompt、RAG、工具、评估和流程约束补齐。
12. Inference Loop
推理循环包括输入拼接、tokenization、prefill、decode、采样、停止和输出后处理。 Prefill 阶段处理完整上下文并建立 KV cache,decode 阶段逐 token 生成。 长 prompt 增加 prefill 成本,长输出增加 decode 成本;并发请求需要 batching,低延迟体验需要 streaming,高吞吐场景需要缓存、路由、小模型、量化和异步流程。
从论文到产品架构
Transformer 到 Copilot
Transformer 的上下文建模能力让 Copilot 可以理解用户当前任务、历史输入和候选输出。 Copilot 产品不是聊天框,而是嵌入业务工作流的建议、补全、解释、检查和自动化能力。 架构上需要捕获页面状态、用户意图、权限、业务对象和可执行动作。
BERT 到理解类组件
BERT 思路常映射到 intent detection、semantic matching、reranking、risk classification、entity extraction。 不是所有任务都需要生成式大模型,许多高频、稳定、低延迟任务适合小模型或传统 ML。 架构设计应允许生成模型、理解模型、规则引擎和搜索系统协同。
GPT 到生成和推理
GPT-style 模型适合生成、改写、总结、规划、解释和多轮对话。 它的强项是把上下文压缩成可读输出,弱点是事实边界、可重复性、可验证性和权限边界。 产品设计必须给它足够上下文,也必须限制它不能越权行动。
RAG 到企业知识问答
RAG 把企业文档、政策、合同、工单、代码和知识库接入模型。 核心链路是 ingest、chunk、embed、index、retrieve、rerank、generate、cite、evaluate。 失败常见于 chunk 粒度错误、召回不足、排序错误、上下文冲突、引用缺失、权限穿透和文档过期。
ReAct / Toolformer 到 Agent
Agent 的关键不是“让模型更聪明”,而是让模型能观察、推理、调用工具、接收结果、继续决策。 工具调用把模型从文本生成扩展到系统行动,因此 Agent 需要权限、事务、幂等、回滚、审计和人工确认。 在金融零售、合规、支付、供应链场景中,Agent 不能默认自动执行高风险动作。
RLHF / Constitutional AI 到治理
对齐论文提示我们: 模型输出质量不是单靠预训练解决。 组织需要定义原则、偏好、红线、审批和反馈闭环,并把这些原则放进 system prompt、policy engine、review workflow 和 eval rubric。 AI 治理不是文档口号,它必须进入运行时系统。
LoRA 到领域适配
LoRA 让模型用更少参数适配领域任务,适合风格、格式、领域术语和固定任务模式增强。 LoRA 不适合频繁变化的事实知识注入;业务知识更新通常优先考虑 RAG。 稳定格式和任务能力优化可以考虑 fine-tuning 或 LoRA。
MoE / FlashAttention / KV Cache 到成本和性能
MoE 让每次推理只激活部分专家,FlashAttention 优化内存访问,KV cache 避免重复计算历史上下文,speculative decoding 用小模型草稿和大模型验证。 这些系统概念最终落到产品指标: 首 token 延迟、tokens/s、吞吐、GPU 成本、并发容量和用户等待感。 模型选择不是只看榜单,还要看单位经济、SLA、峰值流量和运维复杂度。
Eval 到产品质量管理
Eval 是 AI 产品的测试体系,没有 eval 就无法判断 prompt 改动、模型升级、RAG 调参或工具变更是否变好。 Eval 需要覆盖正确性、完整性、引用、格式、安全、偏见、成本、延迟和用户任务成功率。 LLM-as-Judge 可以提高评估效率,但必须防范裁判偏差、提示泄漏、偏好漂移和过拟合评测集。
12-week study plan
Week 1: AI 系统全景与语言模型直觉
- Papers/concepts: language modeling、token、embedding、next-token prediction、scaling intuition。
- Diagrams to draw: “输入文本 -> token -> embedding -> Transformer layers -> logits -> next token”。
- Code-lite experiment: 用 tokenizer 工具比较中文、英文、代码、表格的 token 数。
- 系统学习要点: token 是上下文、成本和延迟的共同单位。
- 设计评审问题: 为什么大模型预测下一个 token 却能表现出总结、翻译和推理能力?
Week 2: Attention Is All You Need
- Papers/concepts: Transformer、self-attention、multi-head attention、position encoding、encoder-decoder。
- Diagrams to draw: Q/K/V attention 计算流程图;一个 Transformer block 结构图。
- Code-lite experiment: 用 4-token 例子手工画 attention score 和 softmax 权重。
- 系统学习要点: attention 是可学习的信息路由机制,不是简单关键词匹配。
- 设计评审问题: Transformer 相比 RNN 为什么更适合大规模并行训练?
Week 3: BERT 与理解类任务
- Papers/concepts: BERT、MLM、NSP、encoder-only、classification、reranking。
- Diagrams to draw: BERT 输入格式;[CLS] 分类头;bi-encoder vs cross-encoder。
- Code-lite experiment: 用 embedding/reranker demo 比较语义相似度和关键词相似度。
- 系统学习要点: 生成不是唯一 AI 能力,理解、排序、抽取同样重要。
- 设计评审问题: 什么时候选择 BERT-style 模型,而不是 GPT-style 模型?
Week 4: GPT-style Decoder-only Language Modeling
- Papers/concepts: causal mask、decoder-only、in-context learning、few-shot prompting、temperature。
- Diagrams to draw: causal mask 矩阵;自回归生成循环。
- Code-lite experiment: 对同一 prompt 调整 temperature 和 top-p,观察稳定性和创造性。
- 系统学习要点: 生成式模型的可控性来自上下文设计、采样设置和评估约束。
- 设计评审问题: 为什么 decoder-only 架构成为通用 LLM 的主流路线?
Week 5: InstructGPT / RLHF 与对齐
- Papers/concepts: supervised fine-tuning、reward model、RLHF、preference data、helpful/harmless/honest。
- Diagrams to draw: 预训练 -> SFT -> reward model -> RLHF 的四阶段图。
- Code-lite experiment: 给同一基础问题写“续写型 prompt”和“指令型 prompt”,比较输出差异。
- 系统学习要点: 业务可用模型需要对齐用户意图,而不只是会生成文本。
- 设计评审问题: RLHF 解决了什么问题,又带来了哪些新风险?
Week 6: Chain-of-Thought 与推理增强
- Papers/concepts: Chain-of-Thought、Self-Consistency、scratchpad、reasoning traces。
- Diagrams to draw: 单路径推理 vs 多路径采样投票。
- Code-lite experiment: 对一道多步业务规则题,比较直接回答、CoT、self-consistency 三种方式。
- 系统学习要点: 推理过程可以提高复杂任务表现,但不等于真实因果证明。
- 设计评审问题: 为什么 CoT 有时提升准确率,有时反而引入幻觉?
Week 7: RAG 与知识密集型任务
- Papers/concepts: RAG、dense retrieval、chunking、reranking、citation、faithfulness。
- Diagrams to draw: 文档摄取流水线;查询时 retrieve -> rerank -> generate -> cite。
- Code-lite experiment: 选 5 篇内部学习笔记,手工设计 chunk 规则和 metadata 字段。
- 系统学习要点: RAG 的质量上限常由知识工程和检索评估决定。
- 设计评审问题: RAG 为什么不能简单等同于“把文档塞进 prompt”?
Week 8: ReAct、Toolformer 与 Agent
- Papers/concepts: ReAct、Toolformer、tool calling、planning、observation、action loop。
- Diagrams to draw: observe -> think -> act -> observe 循环;工具权限边界图。
- Code-lite experiment: 设计一个“报销政策问答 + 表单检查 + 人工确认”的 Agent 流程。
- 系统学习要点: Agent 是带工具和状态的工作流系统,不是更长的 prompt。
- 设计评审问题: 一个企业 Agent 上线前必须设计哪些安全和审计机制?
Week 9: Constitutional AI、Guardrails 与安全治理
- Papers/concepts: Constitutional AI、RLAIF、policy prompt、red teaming、jailbreak、guardrails。
- Diagrams to draw: policy -> model response -> critique -> revision;输入/输出安全检查链路。
- Code-lite experiment: 写一组合规客服场景的 allowed / disallowed / escalate 示例。
- 系统学习要点: AI 安全必须产品化为策略、检测、拦截、升级和记录。
- 设计评审问题: 为什么只靠 system prompt 不能构成完整安全方案?
Week 10: LoRA、Fine-tuning 与领域适配
- Papers/concepts: LoRA、PEFT、fine-tuning、prompting、RAG、DPO overview。
- Diagrams to draw: full fine-tuning vs LoRA adapter;RAG vs fine-tuning 决策树。
- Code-lite experiment: 为客服质检任务列出 30 条训练样本和 20 条 eval 样本。
- 系统学习要点: 知识更新、格式稳定、行为偏好、领域术语需要不同适配策略。
- 设计评审问题: 什么时候 fine-tune 是错误选择?
Week 11: MoE、FlashAttention、KV Cache 与推理优化
- Papers/concepts: Mixture of Experts、Switch Transformer、FlashAttention、KV Cache、speculative decoding。
- Diagrams to draw: dense model vs MoE routing;prefill/decode/KV cache;draft-verify 推理。
- Code-lite experiment: 估算 1k、8k、32k prompt 在成本和延迟上的差异。
- 系统学习要点: 模型选择不是只看榜单,还要看延迟、吞吐、上下文、部署和预算。
- 设计评审问题: 为什么长上下文会显著影响推理成本?
Week 12: Eval、LLM as Judge 与生产架构
- Papers/concepts: HELM、MT-Bench、G-Eval、LLM-as-Judge、RAGAS、agent eval、observability。
- Diagrams to draw: 离线 eval -> 灰度 -> 在线监控 -> 人工反馈 -> 回归测试闭环。
- Code-lite experiment: 为 RAG 问答系统写 20 条 gold questions 和评分 rubric。
- 系统学习要点: AI 产品迭代必须以 eval 和 trace 为中心。
- 设计评审问题: 如何判断一次模型升级是否真的让业务系统变好?
Extension Week 13: DPO、Constitutional AI 与偏好治理
- Papers/concepts: DPO、RLAIF、Constitutional AI、preference data、reward hacking、alignment tax。
- Diagrams to draw: policy -> reviewer guideline -> chosen/rejected samples -> model upgrade eval -> runtime controls。
- Code-lite experiment: 为客服拒答、财富建议、信贷 adverse action、AML narrative 写 20 组 chosen/rejected 样本。
- 系统学习要点: preference optimization 改善默认行为,但不能替代事实、权限、审批和审计。
- 设计评审问题: 为什么 DPO 或 Constitutional AI 不能替代企业 runtime guardrails?
Extension Week 14: Tool Use Security 与 Prompt Injection
- Papers/concepts: tool use、function calling、indirect prompt injection、data exfiltration、confused deputy、tool gateway。
- Diagrams to draw: trusted/untrusted context separation、tool gateway、policy engine、human approval、trace logging、kill switch。
- Code-lite experiment: 为支付争议、AML case、客服 CRM 写入、信贷文档读取设计 20 条 prompt injection/red-team cases。
- 系统学习要点: Agent 安全是系统架构能力,不是 prompt 技巧。
- 设计评审问题: 为什么 function calling schema 不能被当作安全边界?
Extension Week 15: RAG Evaluation、RAGAS 与 Retrieval Metrics
- Papers/concepts: RAGAS、context precision、context recall、faithfulness、answer relevancy、citation support、permission/version tests。
- Diagrams to draw: query set -> gold source -> retrieval trace -> answer judge -> release gate -> failure triage。
- Code-lite experiment: 为 KYC Policy Assistant 写 30 条 eval cases,分别标注 gold source、risk tier、expected behavior 和 failure tag。
- 系统学习要点: RAG 质量不是最终答案一个分数,而是检索、证据、引用、权限、版本和拒答组成的上线证据链。
- 设计评审问题: 一个 RAG 答案错了,如何判断是 retrieval、generation、metadata、permission 还是 business expectation 的问题?
Extension Week 16: GraphRAG 与 Knowledge Graph RAG
- Papers/concepts: GraphRAG、entity extraction、relationship extraction、community summary、local/global/DRIFT search、path evidence、graph eval。
- Diagrams to draw: raw corpus -> text units -> entities/relations/claims -> communities -> graph/text retrieval -> grounded answer。
- Code-lite experiment: 为 AML network investigation 设计 10 类实体、20 类关系、5 条 gold paths 和 10 条 GraphRAG eval cases。
- 系统学习要点: GraphRAG 不是普通 RAG 的默认升级,而是针对多实体、多跳关系、社区模式和全局总结的架构选择。
- 设计评审问题: 什么时候 baseline RAG 足够,什么时候才值得引入 GraphRAG 或 enterprise knowledge graph?
Extension Week 17: Generative Agents、Memory 与 State Governance
- Papers/concepts: Generative Agents、memory stream、retrieval over memory、reflection、planning、session/workflow/audit/preference memory。
- Diagrams to draw: observation -> memory stream -> retrieval -> reflection -> planning -> action;session/state/audit/preference memory boundary。
- Code-lite experiment: 为 KYC Policy Assistant 或 AML Copilot 写 Memory Inventory、Retention Matrix、Deletion Test 和 Memory Eval Set。
- 系统学习要点: Memory 不是让模型记住一切,而是受 consent、权限、保留期、删除、审计和 eval 约束的系统能力。
- 设计评审问题: 为什么长期记忆不能只靠向量库和 prompt 管理?
Extension Week 18: AutoGen、Multi-Agent Conversation 与 Orchestration
- Papers/concepts: AutoGen、multi-agent conversation、planner/executor/critic、handoff contract、shared state、supervisor、HITL。
- Diagrams to draw: manager-worker、sequential pipeline、blackboard shared state、policy supervisor、human checkpoint。
- Code-lite experiment: 为 AML investigation team 设计 5 个 agent role、handoff schema、tool permission 和 eval scorecard。
- 系统学习要点: Multi-agent 不是多个机器人聊天,而是角色分工、状态共享、工具边界、人工责任和评估门禁。
- 设计评审问题: 什么时候不要用 multi-agent,而应使用 single agent + workflow + tool gateway?
Extension Week 19: Tree of Thoughts 与 Planning Search
- Papers/concepts: Tree of Thoughts、candidate thought、state evaluator、BFS/DFS/beam search、search budget、human choice point。
- Diagrams to draw: 单路径 CoT vs 多路径 thought tree;task -> thought generator -> evaluator -> search controller -> human review。
- Code-lite experiment: 为 AML alert triage 或 payment dispute 设计 4 条候选调查路径、评分规则和停止条件。
- 系统学习要点: 复杂任务不是让模型一次性给答案,而是管理候选路径、证据、评分、成本、停止和人工选择。
- 设计评审问题: ToT 如何降低早期推理错误,又会带来哪些成本和审计风险?
Extension Week 20: Self-RAG、CRAG 与 Agentic Retrieval
- Papers/concepts: Self-RAG、CRAG、retrieval need、context quality gate、corrective retrieval、refuse/escalate、retrieval control plane。
- Diagrams to draw: query -> retrieval need -> router -> context evaluator -> answer critic -> retry/refuse/escalate。
- Code-lite experiment: 为 KYC Policy Assistant 写 30 条 policy exists/missing/outdated/conflict/permission/injection eval cases。
- 系统学习要点: RAG 不是 top-k 加 prompt,而是对检索必要性、上下文质量、证据支持和失败路径做显式控制。
- 设计评审问题: 检索结果很弱时,系统应该重试、换源、拒答还是转人工?
Extension Week 21: AgentBench、τ-bench 与 Agent Evaluation
- Papers/concepts: AgentBench、τ-bench、tool-agent-user interaction、tool sandbox、user simulator、policy oracle、trace、agent release gate。
- Diagrams to draw: scenario library -> user simulator -> tool sandbox -> policy oracle -> trace collector -> metric engine。
- Code-lite experiment: 为 AML/KYC/payment/credit/customer service 写 20 个 agent eval scenarios 和 allowed/forbidden actions。
- 系统学习要点: Agent 评测必须模拟真实环境、工具、状态、规则和用户交互,而不只是评估单轮回答。
- 设计评审问题: 为什么 task success 高但 policy violation 高的 agent 仍然不能上线?
Extension Week 22: Mechanistic Interpretability、Transformer Circuits 与 SAE
- Papers/concepts: mechanistic interpretability、Transformer circuits、residual stream、attention head、MLP feature、sparse autoencoder、monosemanticity。
- Diagrams to draw: token -> residual stream -> attention/MLP writes -> feature/circuit -> logits;explainability layer map。
- Code-lite experiment: 写一页 Model Risk Memo,说明 mechanistic evidence 能支持什么、不能承诺什么。
- 系统学习要点: 解释性研究能增强模型风险理解和 safety case,但不能替代外部 eval、HITL、monitoring 和 audit controls。
- 设计评审问题: 如何向风控/审计解释“模型不可完全透明,但系统仍然可治理”?
Extension Week 23: Long Context、Lost in the Middle 与 RULER
- Papers/concepts: long context、Lost in the Middle、LongBench、RULER、needle retrieval、position robustness、context strategy router。
- Diagrams to draw: short prompt/RAG/long context/hybrid routing;position shift eval;long context cost model。
- Code-lite experiment: 为 KYC policy pack 或 credit file 设计 key facts at beginning/middle/end 的 position robustness test。
- 系统学习要点: 标称上下文长度不是有效上下文长度,长上下文仍然需要权限、引用、版本、冲突和成本控制。
- 设计评审问题: 为什么 1M context 仍然不能简单替代企业 RAG?
Extension Week 24: DSPy、OPRO 与 Automatic Prompt Optimization
- Papers/concepts: DSPy、declarative LM program、task signature、teleprompter、OPRO、APE、prompt registry、eval-driven optimization。
- Diagrams to draw: requirement -> task signature -> candidate prompt -> eval -> approval -> release -> monitoring。
- Code-lite experiment: 为 payment dispute draft 写 task signature、10 条 eval cases、3 个 candidate prompts 和 release memo。
- 系统学习要点: Prompt 是可版本化、可优化、可评测的系统配置,不是手写文案。
- 设计评审问题: 为什么自动 prompt 优化不能直接自动上线?
Extension Week 25: Reflexion、Self-Refine 与 Agent Feedback Loops
- Papers/concepts: Reflexion、verbal reinforcement、episodic memory、Self-Refine、feedback object、refinement policy、reflection memory。
- Diagrams to draw: output -> critic -> feedback object -> refine/retrieve/escalate/stop -> trace;reflection memory governance。
- Code-lite experiment: 为 AML narrative 或 customer service copilot 写 failure taxonomy、auto-refine boundary 和 stop rules。
- 系统学习要点: 自我修正要放进受控 feedback loop,不能让模型无限自我修改。
- 设计评审问题: 什么错误可以自动修,什么错误必须人工复核?
Extension Week 26: Process Supervision 与 Step-by-Step Verification
- Papers/concepts: process supervision、outcome supervision、step-level verification、process reward model、critical step gate、golden traces。
- Diagrams to draw: BPMN process -> step schema -> verifier -> error localization -> release gate。
- Code-lite experiment: 为 credit underwriting 或 payment dispute 写 8 个 process eval steps 和 critical step thresholds。
- 系统学习要点: 高风险 AI 不能只看最终答案,过程是否使用正确证据、政策和升级边界同样重要。
- 设计评审问题: 为什么结果正确但过程错误的 AI 输出仍然不可接受?
Extension Week 27: Structured Output、Constrained Decoding 与 LM Program
- Papers/concepts: structured output、JSON Schema、constrained decoding、Guidance、Outlines、Jsonformer、LMQL、schema registry。
- Diagrams to draw: prompt -> constrained decoder -> validator -> policy engine -> tool gateway -> audit trace。
- Code-lite experiment: 为 KYC policy assistant 或 payment dispute agent 写 3 个 JSON Schema、validator matrix 和 schema versioning ADR。
- 系统学习要点: 结构化输出是产品和架构 contract,不是提示词格式偏好;schema 正确仍不能替代事实、权限和动作边界验证。
- 设计评审问题: 为什么 function calling 或 JSON schema 不能被当作完整安全边界?
Extension Week 28: Model Routing、Semantic Cache 与 Frugal AI
- Papers/concepts: FrugalGPT、RouteLLM、semantic cache、model cascade、cost-quality frontier、routing policy、fallback。
- Diagrams to draw: request -> task/risk classifier -> cache lookup -> model router -> validator -> trace/cost ledger。
- Code-lite experiment: 为客服、KYC、AML、支付争议写 50 条 golden route cases,标注 small/large/RAG/HITL/cache 路径。
- 系统学习要点: 模型选择不是榜单问题,而是按任务、风险、SLO、成本和治理证据做动态路由。
- 设计评审问题: 如何证明一次模型路由策略降低成本但没有牺牲高风险质量?
Extension Week 29: SWE-bench、WebArena、OSWorld 与 Agent Benchmark
- Papers/concepts: SWE-bench、WebArena、OSWorld、GAIA、AgentBench、scenario library、environment sandbox、policy oracle、state verifier。
- Diagrams to draw: goal -> agent runner -> tool/UI environment -> trace collector -> state verifier -> release gate。
- Code-lite experiment: 为 payment dispute agent 或 AML copilot 写 30 个 agent eval scenarios、allowed/forbidden actions 和 state oracle。
- 系统学习要点: Agent 能聊天不代表能完成真实任务;评测必须覆盖工具、状态、恢复、权限、成本和 policy violation。
- 设计评审问题: 为什么 task success 高但 policy violation 高的 agent 仍然不能上线?
Extension Week 30: Mamba、S4 与 State Space Models
- Papers/concepts: S4、Mamba、selective state space、Mamba-2、long sequence modeling、cost-latency frontier。
- Diagrams to draw: attention 显式查历史 vs SSM 状态递推;context strategy router;long sequence benchmark plan。
- Code-lite experiment: 为交易流异常检测或长政策包阅读写 long sequence eval pack、成本延迟 benchmark plan 和 model candidate scorecard。
- 系统学习要点: 新模型架构的价值要落在任务质量、成本、延迟、生态和治理证据上,而不是追模型名字。
- 设计评审问题: 为什么 Mamba/SSM 可能改善长序列效率,但不自动替代企业 RAG?
Extension Week 31: Embeddings、ANN 与 Vector Search
- Papers/concepts: Word2Vec、Sentence-BERT、FAISS、HNSW、MTEB、bi-encoder、reranker、hard negatives。
- Diagrams to draw: document -> embedding -> ANN index -> metadata/ACL filter -> rerank -> citation verification。
- Code-lite experiment: 为 KYC policy assistant 写 50 条 query/gold/hard-negative 检索样本, 比较 keyword、embedding、hybrid、rerank。
- 系统学习要点: 向量检索是候选生成层, 不是事实、权限、版本或业务决策层。
- 设计评审问题: 为什么 embedding model 或 index 参数变更必须进入 release gate?
Extension Week 32: CLIP 与 Multimodal Embeddings
- Papers/concepts: CLIP、ALIGN、BLIP、contrastive learning、image-text embedding、zero-shot classification、多模态 RAG。
- Diagrams to draw: image encoder/text encoder -> shared embedding space -> retrieval/classification/review workflow。
- Code-lite experiment: 为 KYC document intake 或客服截图 triage 写多模态标签体系、hard negatives、threshold calibration 和 privacy control。
- 系统学习要点: CLIP-like 模型适合多模态候选生成和冷启动分类, 但不能替代 OCR、权限、真伪判断和人工复核。
- 设计评审问题: 为什么图文相似度不能直接作为 KYC 文件通过依据?
Extension Week 33: Diffusion 与 Latent Diffusion
- Papers/concepts: DDPM、classifier-free guidance、Latent Diffusion、text-to-image、inpainting、asset governance。
- Diagrams to draw: brief -> prompt policy -> generation -> safety/brand/rights review -> asset registry -> publish。
- Code-lite experiment: 为金融教育或零售营销素材设计生成式媒体 policy、asset registry、brand/safety eval 和 human approval workflow。
- 系统学习要点: 生成式媒体的产品价值来自创意效率, 生产可用性来自版权、品牌、事实、PII、安全和审批控制。
- 设计评审问题: 为什么金融零售中生成式图像不能直接用于证据图片修改?
Extension Week 34: Graph Neural Networks 与图学习风控
- Papers/concepts: GCN、GraphSAGE、GAT、temporal graph、entity resolution、fraud ring、AML network、GraphRAG 对比。
- Diagrams to draw: source systems -> entity graph -> GNN score -> evidence path -> analyst review -> feedback。
- Code-lite experiment: 为 fraud ring 或 AML network 写节点/边 schema、temporal eval、label delay、explanation design 和 workflow gate。
- 系统学习要点: GNN 适合关系型风险信号, 但金融高风险动作仍需要规则、证据路径、人工复核和模型风险治理。
- 设计评审问题: 为什么 GNN score 不能直接触发冻结账户或拒贷?
Extension Week 35: Recommender Systems 与 Next-Best-Action
- Papers/concepts: YouTube DNN、Wide & Deep、Two-Tower、candidate generation、retrieval、ranking、re-ranking、feedback loop。
- Diagrams to draw: customer/context -> candidate generation -> two-tower retrieval -> ranking -> policy re-ranking -> feedback。
- Code-lite experiment: 为金融零售 next-best-action 写候选池、推荐策略、适用性过滤、指标树和 A/B 实验方案。
- 系统学习要点: 推荐系统是 AI decisioning layer,不是单个“猜你喜欢”模型;金融场景必须把 suitability、consent、fairness、complaint 和 advice boundary 放进产品架构。
- 设计评审问题: 为什么只优化 CTR 的推荐系统可能伤害客户信任和监管可接受性?
Extension Week 36: Learning to Rank、LambdaMART 与 Neural Ranking
- Papers/concepts: pointwise、pairwise、listwise、RankNet、LambdaRank、LambdaMART、NDCG、query group、neural reranking。
- Diagrams to draw: query/context + candidates -> feature contract -> LTR ranker -> policy reranker -> online experiment -> monitoring。
- Code-lite experiment: 为企业政策搜索、AML alert prioritization 或客服 next action 写 20 条 relevance 标注、NDCG@5 指标和 LambdaMART baseline ADR。
- 系统学习要点: 搜索、推荐、告警和运营台都是排序问题;排序质量必须和权限、政策、投诉、公平和人工 override 一起评估。
- 设计评审问题: 为什么 LambdaMART 在 LLM 时代仍然可能是高监管场景的强生产 baseline?
Extension Week 37: Feature Stores 与 Real-Time ML
- Papers/concepts: Feast、Michelangelo、offline/online store、feature view、point-in-time correctness、training-serving skew、freshness SLO、streaming feature。
- Diagrams to draw: event -> entity resolution -> online feature lookup -> model score -> policy decision -> trace -> offline replay。
- Code-lite experiment: 为支付欺诈、信贷预审批或 Agent 工具授权写 10 个 feature contract、freshness SLO 和 online/offline parity 测试。
- 系统学习要点: 实时 AI 决策可靠性经常取决于特征平台,而不是模型本身;特征是带 owner、时间语义、权限和质量承诺的数据产品。
- 设计评审问题: 为什么 point-in-time correctness 是防止模型离线虚高、线上失败的关键?
Extension Week 38: Zanzibar、Cedar、OPA 与 AI Policy Architecture
- Papers/concepts: RBAC、ABAC、ReBAC、Zanzibar tuples、Cedar principal/action/resource/context、OPA/Rego、PDP/PEP、policy-as-code。
- Diagrams to draw: AI gateway -> PEP -> PDP -> role/relationship/attribute/policy data -> allow/deny/mask/require approval -> audit。
- Code-lite experiment: 为客服 Copilot、信贷 Copilot 或 AML Agent 写 tool action risk tier、policy tests、RAG permission filtering 和 audit evidence schema。
- 系统学习要点: AI Agent 权限不能靠 prompt;权限、策略、审批和审计必须是外部化、可测试、可版本化的 runtime control。
- 设计评审问题: 为什么 RAG 权限必须在检索前过滤,而不能等模型生成后再遮盖?
Extension Week 39: Federated Learning 与 Cross-Silo AI
- Papers/concepts: FedAvg、cross-device、cross-silo、secure aggregation、participant governance、update validation、poisoning risk。
- Diagrams to draw: coordinator -> local training participants -> secure aggregation -> shared model -> local validation。
- Code-lite experiment: 为跨机构 fraud signal collaboration 写参与方治理、数据 contract、标签一致性检查、隐私控制和模型评估门禁。
- 系统学习要点: 联邦学习减少原始数据移动,但不能替代隐私、合同、模型风险、数据质量和客户影响治理。
- 设计评审问题: 为什么 federated learning 不等于“数据不出本地所以一定合规”?
Extension Week 40: Differential Privacy 与 DP-SGD
- Papers/concepts: epsilon、delta、privacy budget、composition、DP-SGD、gradient clipping、noise addition、privacy accounting。
- Diagrams to draw: raw data -> query/model training -> clipping/noise -> privacy accountant -> release gate。
- Code-lite experiment: 为客服 Copilot trace analytics 设计 privacy unit、epsilon/delta、预算台账、utility/slice eval 和 evidence pack。
- 系统学习要点: DP 提供可量化隐私边界,但会带来效用、稳定性和小群体表现取舍,需要和访问控制、目的限制、保留/删除一起设计。
- 设计评审问题: 为什么 differential privacy 不能简单等同于匿名化或脱敏?
Extension Week 41: Knowledge Distillation、小模型与量化
- Papers/concepts: teacher-student、soft labels、DistilBERT、quantization、specialist model、model cascade、routing。
- Diagrams to draw: frontier teacher -> distillation dataset -> student model -> quantization -> route policy -> fallback。
- Code-lite experiment: 为客服意图分类或 KYC 文档分类写 teacher-student eval、small-model route policy、成本/延迟/隐私 scorecard。
- 系统学习要点: 小模型不是低配 AI,而是把任务、风险、延迟、成本和隐私部署边界映射到合适模型的组合策略。
- 设计评审问题: 为什么高频稳定任务可能不应该调用最大模型?
Extension Week 42: Durable Execution 与 Agent Workflow State Machines
- Papers/concepts: durable execution、state machine、workflow replay、event history、Saga、compensation、idempotency、HITL states。
- Diagrams to draw: workflow state -> agent activity -> policy gate -> tool gateway -> human approval -> audit replay。
- Code-lite experiment: 为支付争议 Agent 写状态机、工具副作用矩阵、幂等键、补偿流程、人工审批和事故 replay。
- 系统学习要点: 企业 Agent 是长运行工作流系统,不是模型循环;可恢复、可审计和可补偿是进入生产的基本条件。
- 设计评审问题: 为什么 Agent 工具调用成功但工作流崩溃,会比普通文本错误更危险?
Extension Week 43: Digital Twin、Agent-Based Simulation 与 AI Decisioning
- Papers/concepts: digital twin、process twin、decision twin、agent-based modeling、discrete event simulation、calibration、validation、sensitivity analysis。
- Diagrams to draw: event log -> entity/state model -> scenario library -> simulation engine -> impact metrics -> decision memo。
- Code-lite experiment: 为客服 Copilot 容量、支付欺诈策略或 Agent workflow sandbox 写 entity/event/state schema、scenario library 和 validation plan。
- 系统学习要点: 仿真不是预测水晶球,而是上线前评估策略、容量、流程、风险和客户影响的决策实验室。
- 设计评审问题: 为什么离线 eval 通过的 AI 策略仍需要仿真或 replay 才能进入高风险试点?
Extension Week 44: Online Experimentation、CUPED 与 AI Release Science
- Papers/concepts: online controlled experiments、CUPED、variance reduction、guardrail metrics、shadow launch、ramp、champion-challenger。
- Diagrams to draw: offline eval -> replay -> shadow -> ramp -> A/B -> decision review -> rollout/rollback。
- Code-lite experiment: 为 RAG 升级、KYC 抽取模型或推荐策略写 experiment design、metric tree、guardrail matrix 和 stop rule。
- 系统学习要点: AI 发布科学把“模型看起来变好”转成可证明、可停止、可回滚的生产变更证据。
- 设计评审问题: 为什么 AI 实验不能只看主指标,而必须设计 guardrail 和 risk-based ramp?
Extension Week 45: Data Lineage、Contracts 与 AI Data Quality
- Papers/concepts: OpenLineage、DataHub、OpenMetadata、Great Expectations、data contract、metadata、quality SLO、training/eval/RAG lineage。
- Diagrams to draw: source -> transformation -> dataset -> feature/eval/RAG corpus -> model/answer -> decision trace。
- Code-lite experiment: 为 RAG 政策库或 KYC 文档链路写 data contract、lineage map、quality SLO 和 data incident response。
- 系统学习要点: AI 数据治理不是数据目录,而是证明模型、RAG、eval 和决策使用的数据来源、版本、质量、权限和 owner。
- 设计评审问题: 为什么 eval dataset 的 lineage 和训练数据 lineage 一样重要?
Extension Week 46: AI Security Operations、MITRE ATLAS 与 OWASP
- Papers/concepts: MITRE ATLAS、OWASP LLM Top 10、NIST CSF、AI telemetry、detection engineering、incident response、purple team。
- Diagrams to draw: AI gateway telemetry -> detection rules -> SIEM/SOAR -> incident runbook -> control effectiveness dashboard。
- Code-lite experiment: 为客服 AI 或 Agent tool gateway 写 telemetry schema、12 条 detection rules、SEV matrix 和 prompt injection runbook。
- 系统学习要点: AI 安全不能停在上线前红队,而要进入持续检测、响应、恢复和控制有效性管理。
- 设计评审问题: 为什么传统 SOC 日志不足以发现 RAG prompt injection 或 Agent 工具误用?
Extension Week 47: Time-Series Forecasting、TFT、DeepAR 与 Foundation Models
- Papers/concepts: DeepAR、Temporal Fusion Transformer、TimesFM、NeuralForecast、probabilistic forecasting、prediction intervals、hierarchical forecasting、rolling backtest。
- Diagrams to draw: source systems -> point-in-time features -> forecast model -> quantile forecast -> decision service -> override -> actual feedback。
- Code-lite experiment: 为客服进线量、现金流或 SKU-门店需求写 forecast contract、feature availability matrix、rolling backtest 和 P50/P90 决策策略。
- 系统学习要点: 预测不是 dashboard,而是 forecast-to-decision loop;预测区间、特征可用性、回测泄漏和人工覆盖决定能否生产化。
- 设计评审问题: 为什么 P50 预测准确不代表客服排班、现金流 buffer 或库存决策可用?
Extension Week 48: Anomaly Detection、Isolation Forest 与 Risk Monitoring
- Papers/concepts: Isolation Forest、autoencoder、statistical process control、streaming anomaly detection、PyOD、NAB、threshold calibration、alert fatigue。
- Diagrams to draw: events -> window features -> anomaly ensemble -> policy thresholds -> alert grouping -> triage workbench -> feedback labels。
- Code-lite experiment: 为 fraud/AML/AI cost/SecOps 场景写 anomaly taxonomy、entity-window map、阈值策略、告警分流和反馈标签 schema。
- 系统学习要点: 异常检测不是模型报警器,而是风险运营系统;precision、容量、误伤、SLA、反馈闭环同样重要。
- 设计评审问题: 如何避免异常检测上线后三周内变成没人看的告警噪音?
Extension Week 49: Causal Discovery、DoWhy/EconML 与结构化决策
- Papers/concepts: SCM、DAG、causal discovery、causal inference、DoWhy、EconML、DAGitty、NOTEARS、confounding、identifiability、intervention。
- Diagrams to draw: decision question -> DAG -> identification -> estimation -> refutation -> policy simulation -> experiment/rollout。
- Code-lite experiment: 为营销 uplift、提额策略、欺诈强认证或 Copilot ROI 写 causal question canvas、DAG review、assumption register 和 sensitivity report。
- 系统学习要点: AI 产品价值不能只靠相关性证明;高风险产品动作需要把 treatment、outcome、population、horizon 和假设显性化。
- 设计评审问题: 为什么 causal discovery 不能自动替代 A/B 实验或业务 DAG review?
Extension Week 50: Optimization、Operations Research 与 AI Decisioning
- Papers/concepts: linear programming、integer programming、CP-SAT、routing、scheduling、OR-Tools、SciPy linprog、Gurobi、PuLP、multi-objective optimization。
- Diagrams to draw: forecast/scenario -> objective/constraints -> solver -> policy guardrail -> workflow execution -> exception/override -> outcome monitoring。
- Code-lite experiment: 为欺诈审核队列、客服排班、催收策略或 AI 平台容量写 optimization problem canvas、目标/约束表和无解例外流程。
- 系统学习要点: 预测说明可能发生什么,优化决定在约束下应该怎么做;Agent 可以提案,solver 和 policy 要负责可行性与审计。
- 设计评审问题: 为什么不能让 LLM 直接安排排班、分配额度或排序欺诈审核队列?
Extension Week 51: Contextual Bandits、LinUCB 与 Adaptive Experimentation
- Papers/concepts: multi-armed bandit、contextual bandit、LinUCB、Thompson Sampling、epsilon-greedy、propensity logging、IPS、doubly robust、offline policy evaluation。
- Diagrams to draw: context -> eligible actions -> exploration policy -> selected action + propensity -> reward -> OPE -> policy review。
- Code-lite experiment: 为 offer、next-best-action、客服路由或催收触达写 action catalog、exploration budget、decision log contract 和 OPE memo。
- 系统学习要点: Bandit 不是更花哨的 A/B,而是带反事实日志、探索预算、客户保护和 kill switch 的在线学习决策层。
- 设计评审问题: 为什么没有 action probability / propensity logging,就很难证明新策略真的更好?
Extension Week 52: Reinforcement Learning、Offline RL 与 Policy Decisioning
- Papers/concepts: MDP、policy、reward、DQN、policy gradient/PPO、offline RL、CQL、Decision Transformer、reward hacking、safe exploration。
- Diagrams to draw: decision log -> state builder -> action catalog -> simulator/replay -> offline RL learner -> OPE -> policy guardrail -> pilot。
- Code-lite experiment: 为 collections、fraud intervention sequencing、contact center routing 或 Agent tool policy 写 MDP spec、reward registry 和 policy guardrail。
- 系统学习要点: RL 的企业价值是序列决策语言;金融零售不能无约束在线试错,必须先做离线评估、仿真、人工审批和回滚。
- 设计评审问题: 为什么高风险金融 AI 不应该直接用 DQN/PPO 在线探索?
Extension Week 53: Bayesian Optimization、BoTorch/Optuna 与实验预算
- Papers/concepts: Bayesian optimization、Gaussian Process surrogate、acquisition functions、EI/UCB/PI、BoTorch、Optuna、multi-objective/constrained BO、regret。
- Diagrams to draw: parameter space -> surrogate -> acquisition -> experiment runner -> metrics/constraints -> next trial -> decision memo。
- Code-lite experiment: 为 RAG、prompt、model routing、pricing/offer 或 capacity/cost tuning 写 parameter registry、metric contract、BO plan 和 Pareto memo。
- 系统学习要点: BO 是昂贵实验的决策系统,用更少试验找到高价值配置,但必须纳入 safety gate、holdout eval 和实验审计。
- 设计评审问题: Bayesian optimization 和普通 grid/random search 对 AI 平台 PM 的实际差异是什么?
Extension Week 54: Calibration、Conformal Prediction 与 Uncertainty Governance
- Papers/concepts: calibration、ECE、reliability diagram、Brier score、temperature scaling、conformal prediction、coverage、selective prediction、abstention。
- Diagrams to draw: model score -> calibration layer -> conformal set/interval -> risk router -> auto/review/refuse/escalate -> monitoring。
- Code-lite experiment: 为 KYC 抽取、欺诈拦截、AML triage、信贷策略或 RAG answer confidence 写 calibration report、action routing matrix 和 confidence UX spec。
- 系统学习要点: 不确定性不是 UI 装饰,而是 AI 产品自动化边界、人工升级、拒答和客户信任体验的控制面。
- 设计评审问题: 为什么 LLM 自报 confidence 不能直接作为客户面向答案的可信度?
Extension Week 55: Data-Centric AI、Snorkel 与 Programmatic Labeling
- Papers/concepts: Snorkel、weak supervision、data programming、labeling functions、label model、coverage、overlap、conflict、dataset card、label provenance。
- Diagrams to draw: unlabeled data -> labeling functions -> label matrix -> label model -> probabilistic labels -> training dataset -> SME review -> evidence binder。
- Code-lite experiment: 为 KYC 文档、AML typology、投诉意图或 RAG eval 写 label taxonomy、LF catalog、coverage/conflict dashboard 和 SME adjudication flow。
- 系统学习要点: 标签不是训练前的杂务,而是 AI 产品的数据资产、治理证据和平台能力。
- 设计评审问题: weak supervision 生成的标签为什么不能直接当作正式 ground truth?
Extension Week 56: Active Learning、Human-in-the-Loop Labeling 与反馈运营
- Papers/concepts: active learning、uncertainty sampling、query-by-committee、expected model change、density weighting、noisy oracle、reviewer calibration、label budget。
- Diagrams to draw: production pool -> query strategy -> HITL queue -> SME review -> adjudication -> dataset registry -> model/eval update -> monitoring。
- Code-lite experiment: 为欺诈调查、KYC 例外、投诉 taxonomy 或 RAG QA 写 query policy、labeling queue、reviewer calibration 和 feedback governance memo。
- 系统学习要点: HITL 不是人工兜底,而是把专家判断变成持续学习的数据产品和风险控制机制。
- 设计评审问题: active learning 为什么会带来 sampling bias,如何控制?
Extension Week 57: Dataset Shift、Drift Monitoring 与 Model Performance Operations
- Papers/concepts: covariate shift、label shift、concept drift、training-serving skew、data validation、score drift、embedding drift、outcome lag、segment monitoring。
- Diagrams to draw: data contract -> feature stats -> score distribution -> outcome/proxy labels -> drift alert -> triage -> rollback/retrain/recalibrate。
- Code-lite experiment: 为 fraud、credit、AML、客服意图或 RAG 知识库写 drift metric catalog、alert runbook、segment dashboard 和 outcome lag plan。
- 系统学习要点: 模型上线不是结束,生产数据一旦改变,产品、架构和治理假设都要重新验证。
- 设计评审问题: 发现 drift 后为什么不应该默认立刻重训模型?
Extension Week 58: AI Management System、ISO 42001 与 Operating Model
- Papers/concepts: ISO/IEC 42001、AI management system、NIST AI RMF、AI inventory、risk tiering、release gate、control library、management review、continual improvement。
- Diagrams to draw: AI strategy -> inventory -> risk tier -> architecture/data/model review -> release evidence -> monitoring -> management review -> improvement。
- Code-lite experiment: 为 customer-facing GenAI、credit/fraud/KYC/AML AI 或 internal copilot 写 AI inventory、risk tier matrix、RACI、control library 和 evidence binder map。
- 系统学习要点: AI 治理不是审批口号,而是让 AI 可持续、可审计、可规模化交付的 operating system。
- 设计评审问题: 风险分层的 AI management system 为什么反而能加速创新?
Extension Week 59: Hidden Technical Debt in ML Systems 与 AI Architecture Debt
- Papers/concepts: CACE、entanglement、boundary erosion、hidden feedback loops、undeclared consumers、data dependency、configuration debt、debt register。
- Diagrams to draw: data sources -> features -> model/prompt -> decision policy -> downstream consumers -> feedback loop -> monitoring -> debt register。
- Code-lite experiment: 为欺诈、信贷、KYC、AML 或客服 RAG 写 dependency map、consumer registry、release bundle 和 AI technical debt register。
- 系统学习要点: AI 技术债不是代码脏,而是数据、模型、业务动作和组织责任纠缠后,让每次变更都变慢、变贵、变危险。
- 设计评审问题: CACE 为什么会让 AI 系统比普通软件更难改?
Extension Week 60: CD4ML、MLOps 与 AI Release Engineering
- Papers/concepts: CD4ML、CI/CD/CT、model registry、dataset registry、prompt registry、release bundle、shadow/canary/ramp、rollback、artifact lineage。
- Diagrams to draw: code/data/model/prompt/policy -> validation -> eval gate -> release bundle -> shadow -> canary -> ramp -> monitoring -> rollback。
- Code-lite experiment: 为 RAG 客服、欺诈模型、信贷策略或 AML Copilot 写 release manifest、gate checklist、canary plan 和 rollback runbook。
- 系统学习要点: AI 发布不是部署模型,而是对 code、data、model、prompt、阈值、policy 和 eval 的可控变更。
- 设计评审问题: 为什么高风险金融 AI 不能只靠自动 continuous training 直接发布?
Extension Week 61: Human-AI Interaction Guidelines 与 AI Product Design
- Papers/concepts: HAI guidelines、capability boundary、calibrated trust、automation bias、recoverability、feedback、uncertainty UX、human escalation。
- Diagrams to draw: user intent -> risk tier -> evidence/uncertainty -> UX policy renderer -> user control -> feedback/escalation -> monitoring。
- Code-lite experiment: 为 customer-facing RAG、AML analyst copilot 或信贷员工助手写 capability boundary、confidence UX matrix、recovery flow 和 HAI eval metrics。
- 系统学习要点: AI 产品体验不是让模型像人,而是让人知道何时信、何时停、如何纠错、如何升级。
- 设计评审问题: 为什么 Human-AI Interaction 是架构问题而不只是 UX 文案问题?
Extension Week 62: AI Architecture Decision Records 与 Decision Governance
- Papers/concepts: ADR、architecture knowledge、ISO/IEC/IEEE 42010、stakeholder concern、AI-specific ADR、reversal trigger、evidence link、risk tier。
- Diagrams to draw: use case intake -> significant decision -> ADR -> review -> release bundle -> monitoring -> supersede/reverse。
- Code-lite experiment: 为一个 flagship AI case 写 5 条 ADR: model strategy、RAG/knowledge、HITL、eval gate、vendor/platform boundary。
- 系统学习要点: AI 架构能力不是只会画图,而是能把关键决策、证据、后果和反转条件留下来,让系统长期可演进。
- 设计评审问题: 一条好的 AI ADR 比普通技术文档多哪些字段?
Extension Week 63: AI Requirements Engineering、GQM 与 Eval Contracts
- Papers/concepts: Goal-Question-Metric、AI requirement taxonomy、eval contract、golden set、release gate、monitoring gate、risk owner。
- Diagrams to draw: business outcome -> decision question -> metric -> eval dataset -> threshold -> release gate -> production monitoring -> review owner。
- Code-lite experiment: 为 AML、客服、信贷或财富 Copilot 写一份 GQM matrix 和 eval contract, 覆盖业务、产品、模型、风险和运营指标。
- 系统学习要点: 高级 AI BA 能力不是写更多 user story, 而是把模糊 AI idea 转成可验证、可上线、可监控、可审计的证据契约。
- 设计评审问题: 你如何把“做一个 AI 助手”转成可交付、可验收的 AI 产品需求?
Extension Week 64: AI Quality Attributes、ATAM 与 Architecture Tradeoff
- Papers/concepts: quality attribute scenario、utility tree、ATAM、tradeoff point、sensitivity point、architecture tactic、AI release evidence。
- Diagrams to draw: stakeholder concern -> quality scenario -> tactic -> tradeoff -> eval evidence -> ADR -> release decision。
- Code-lite experiment: 为一个 AI case 写 utility tree, 对 RAG、fine-tune、model routing、HITL、guardrail、cache 和 audit log 做权衡矩阵。
- 系统学习要点: AI 架构评审不是争论方案偏好, 而是显性化准确性、安全、隐私、延迟、成本、可审计性和可恢复性的取舍。
- 设计评审问题: 你如何判断一个 AI 架构的质量属性和残余风险是否可接受?
Extension Week 65: AI Safety Engineering、STPA 与 Control Structure
- Papers/concepts: STPA、loss、hazard、unsafe control action、control structure、causal scenario、safety constraint、circuit breaker。
- Diagrams to draw: business policy -> AI controller -> model/RAG/tool layer -> business API -> human reviewer -> monitoring feedback -> incident response。
- Code-lite experiment: 为支付退款 agent 或 AML agent 写 loss/hazard register、UCA table、safety constraints、HITL gate 和 kill switch 条件。
- 系统学习要点: Agentic AI 的安全不是“模型准确率高”或“有权限控制”就够, 而是完整控制结构、反馈、约束和人工接管是否成立。
- 设计评审问题: 为什么 AI agent 需要 STPA 这类系统安全分析?
Extension Week 66: Sociotechnical AI、Resilience 与 Work-as-Done
- Papers/concepts: sociotechnical system、work-as-imagined、work-as-done、human-AI collaboration、handoff、exception、load、resilience metric、operating model。
- Diagrams to draw: user role -> AI role -> workflow step -> exception path -> handoff -> feedback -> eval update -> governance review。
- Code-lite experiment: 对一个金融零售 AI Copilot 做 work-as-imagined / work-as-done mapping, 并设计 operating model RACI 和 resilience dashboard。
- 系统学习要点: AI 产品不是模型功能, 而是人、流程、数据、工具、政策和反馈共同运行的工作系统。
- 设计评审问题: 你如何避免 AI 上线后把风险和工作负载转移给下游团队?
Extension Week 67: AI Capability-Based Planning 与 Business Architecture
- Papers/concepts: capability-based planning、business capability、value stream、capability maturity、portfolio prioritization、architecture runway、funding gate。
- Diagrams to draw: value stream -> capability map -> AI use case portfolio -> maturity gap -> platform/governance dependency -> roadmap。
- Code-lite experiment: 为 AML、客服、信贷或财富顾问做 AI capability map, 并把 use cases 映射到复用能力和平台能力。
- 系统学习要点: 企业 AI 转型不是堆 use case, 而是建设可复用、可治理、可扩展的业务和平台能力。
- 设计评审问题: 你如何把 AI use case 清单升级成企业能力路线图?
Extension Week 68: Wardley Mapping 与 AI Product / Platform Strategy
- Papers/concepts: user need、value chain、evolution axis、doctrine、build/buy/partner、platformize、commodity vs custom。
- Diagrams to draw: user need -> AI value chain components -> evolution position -> build/buy/platform decision -> roadmap move。
- Code-lite experiment: 为一个 AI Gateway、客服知识平台或 AML Copilot 画 Wardley Map, 并写 build-buy-platformize 决策矩阵。
- 系统学习要点: AI 产品战略需要地形感, 不是用供应商功能表或模型排行榜替代战略判断。
- 设计评审问题: 你如何判断哪些 AI 能力应该自研、采购、合作或平台化?
Extension Week 69: Conway's Law、Team Topologies 与 AI Platform Operating Model
- Papers/concepts: Conway's Law、stream-aligned team、platform team、enabling team、complicated-subsystem team、cognitive load、team API、interaction modes。
- Diagrams to draw: AI value stream -> team topology -> platform team API -> interaction mode -> governance responsibility -> feedback loop。
- Code-lite experiment: 为一个金融零售 AI platform 设计 team topology、RACI、team API 和 interaction mode transition。
- 系统学习要点: AI 架构和组织结构会互相塑造, 团队边界错了, 系统接口和治理路径也会错。
- 设计评审问题: 企业 AI 平台应该集中、分散还是平台 + 产品团队混合?
Extension Week 70: DORA / SPACE 与 AI SDLC Engineering Productivity
- Papers/concepts: DORA metrics、SPACE framework、AI-assisted PR、code agent governance、secure SDLC、review load、architecture drift、release gate。
- Diagrams to draw: issue -> AI-assisted code/test/doc -> PR gate -> security gate -> eval gate -> release -> incident/feedback -> productivity dashboard。
- Code-lite experiment: 为 AI code agent adoption 设计 DORA+SPACE dashboard、PR gate checklist 和 AI-assisted defect postmortem 模板。
- 系统学习要点: AI 工程生产力不是多写代码, 而是在安全、质量和可恢复性前提下提高端到端交付价值流。
- 设计评审问题: 你如何证明 AI code agent 真的提高了工程生产力, 而不是只增加了 PR 和代码量?
Extension Week 71: Continuous Discovery 与 Opportunity Solution Tree for AI Products
- Papers/concepts: continuous discovery、opportunity solution tree、outcome、opportunity、solution、experiment、assumption map、AI task boundary、pilot learning。
- Diagrams to draw: business outcome -> opportunity tree -> AI task boundary -> solution options -> assumptions -> evidence -> release/scale decision。
- Code-lite experiment: 为 AML、客服、信贷或财富顾问 AI case 写一张 OST, 并设计 5 个高风险假设的验证实验。
- 系统学习要点: AI 产品发现不是收集“想要一个助手”, 而是持续发现机会、验证假设、建立证据, 决定继续、调整、停止或平台化。
- 设计评审问题: 业务方提出 AI 助手需求时, 你如何把它转成 opportunity tree 和 evidence plan?
Extension Week 72: Jobs-to-be-Done / Outcome-Driven Innovation 与 AI Use Case Selection
- Papers/concepts: JTBD、job map、outcome statement、underserved outcome、opportunity score、AI fit、automation boundary。
- Diagrams to draw: user job -> job steps -> outcome statements -> underserved outcomes -> AI fit -> automation boundary -> prioritized use case。
- Code-lite experiment: 为一个金融零售角色写 job map 和 outcome catalog, 再评估哪些 job step 适合 AI assist/recommend/decide/act。
- 系统学习要点: AI use case 选择不应按 demo 热度排序, 而应从用户要完成的 job 和 underserved outcomes 出发。
- 设计评审问题: 你如何判断一个 job step 应该由 AI 辅助、建议、决策、执行还是不介入?
Extension Week 73: North Star Metrics 与 AI Product Value Measurement
- Papers/concepts: North Star Metric、input metrics、guardrail metrics、risk-adjusted value、causal evidence、benefits realization、product analytics governance。
- Diagrams to draw: North Star -> input metrics -> AI quality/eval metrics -> risk guardrails -> operational load -> cost -> evidence strength。
- Code-lite experiment: 为 AML Copilot、客服 Copilot 或 AI 平台设计 metrics tree 和 risk-adjusted value model。
- 系统学习要点: AI 成功不能用调用量、生成字数或主观工时节省证明, 必须连接业务价值、风险护栏、运营负载和因果证据。
- 设计评审问题: 为什么 AI 采纳率高不一定代表 AI 产品成功?
Extension Week 74: AI Product Operating Model 与 Empowered Teams
- Papers/concepts: product operating model、empowered product teams、product trio、decision rights、discovery-delivery-governance cadence、platform/risk operating model。
- Diagrams to draw: AI product team mission -> product trio+ -> decision rights -> discovery cadence -> delivery flow -> eval gate -> operating review。
- Code-lite experiment: 为一个 AI 产品团队设计 Product Trio+、RACI、decision rights 和 operating review dashboard。
- 系统学习要点: AI 产品团队要对 outcome 负责, 但必须在模型、数据、风险、平台和运营 guardrails 内被授权。
- 设计评审问题: AI 产品团队如何既 empowered 又满足高风险金融场景的治理要求?
Extension Week 75: AI Portfolio Management 与 Funding Governance
- Papers/concepts: AI portfolio management、portfolio kanban、lean funding、capacity allocation、risk-adjusted value、funding gate、benefits realization、scale/stop decision。
- Diagrams to draw: idea funnel -> discovery -> pilot -> release -> scale/stop;business value -> data readiness -> risk tier -> platform leverage -> funding decision。
- Code-lite experiment: 为 AML、客服、信贷或财富 AI portfolio 写 scorecard、funding memo、quarterly portfolio review agenda 和 stop rule。
- 系统学习要点: AI portfolio 不是 use case 清单, 而是用证据、资金、风险、平台和组织容量管理的投资组合。
- 设计评审问题: 你如何决定一个 AI pilot 继续投、扩展、调整还是停止?
Extension Week 76: AI Service Blueprint、Customer Journey 与 Trust
- Papers/concepts: service blueprint、customer journey、frontstage/backstage、trust calibration、human-AI interaction、handoff、correction、appeal。
- Diagrams to draw: customer action -> frontstage AI -> frontstage human -> backstage workflow -> data/knowledge/model -> controls/evidence -> metrics。
- Code-lite experiment: 为信用卡 dispute、信贷解释、客服投诉或 KYC onboarding 写一张 AI service blueprint 和 trust moment checklist。
- 系统学习要点: AI 体验不是界面上的回答, 而是包含后台流程、知识源、人工交接、申诉和审计证据的服务系统。
- 设计评审问题: 你如何设计一个客户愿意信任、但不会过度信任的 AI 服务旅程?
Extension Week 77: AI Business Process Reengineering、BPMN 与 DMN
- Papers/concepts: AI BPR、BPMN、DMN、process mining、decision service、AI insertion pattern、human oversight、eval traceability、control evidence。
- Diagrams to draw: value stream -> BPMN node -> DMN decision -> AI capability -> eval contract -> control evidence -> monitoring。
- Code-lite experiment: 为 AML alert triage、贷款审批、支付争议或客服 case flow 写 BPMN/DMN/eval trace matrix。
- 系统学习要点: AI 流程重构不是给旧流程加 copilot, 而是重新分配人、规则、模型、系统和控制点的职责。
- 设计评审问题: 你如何把一条复杂金融流程重构成可自动化、可监督、可审计的 AI-ready process?
Extension Week 78: AI Risk Appetite 与 Policy Product Management
- Papers/concepts: risk appetite、policy-as-product、risk tier、guardrail catalog、runtime control、exception process、KRI/SLO、stop rule。
- Diagrams to draw: enterprise risk appetite -> product guardrails -> architecture controls -> runtime enforcement -> monitoring -> exception/review。
- Code-lite experiment: 为财富 AI assistant、信贷 copilot、客服 RAG 或 AML agent 写 risk appetite statement、policy-to-product matrix 和 exception memo。
- 系统学习要点: AI 风险偏好必须进入产品边界、路线图、UX、架构控件、监控阈值和上线门禁, 不能停留在政策文件里。
- 设计评审问题: 你如何把董事会/风控层面的 AI risk appetite 转成产品团队可执行的 guardrails?
Extension Week 79: Enterprise AI Reference Architecture 与 Control Plane
- Papers/concepts: enterprise AI reference architecture、control plane、application/model/data/tool/policy/eval/governance plane、model gateway、tool gateway、observability。
- Diagrams to draw: experience -> orchestration -> model/data/tool -> policy/control -> eval/observability -> evidence;control plane vs data plane。
- Code-lite experiment: 为 AML、信贷、客服或 KYC AI platform 画 capability view、C4/container view、sequence view、control view 和 operating view。
- 系统学习要点: 企业 AI 架构不是单个 app, 而是一套可复用、可控制、可观测、可审计的 shared architecture。
- 设计评审问题: 你如何设计一个能支持多业务线 AI 应用的 enterprise AI reference architecture?
Extension Week 80: AI Product Line Engineering 与 Reusable Platform Assets
- Papers/concepts: software product line engineering、core assets、variation points、domain engineering、application engineering、asset governance、reuse ROI。
- Diagrams to draw: capability family -> domain architecture -> commonality/variability -> core asset map -> application assembly -> reuse telemetry。
- Code-lite experiment: 为 case-assist、policy assistant 或 customer-facing RAG 产品族写 core asset map、variation matrix 和 reuse decision memo。
- 系统学习要点: AI 规模化不是复制 POC, 而是把可复用资产和业务可变点分离并产品化。
- 设计评审问题: 你如何判断一个 AI 能力应该沉淀成平台资产, 还是保留为业务线定制?
Extension Week 81: AI Maturity Model、Roadmap 与 Capability Assessment
- Papers/concepts: AI maturity model、capability domains、evidence standard、roadmap sequencing、capability heatmap、architecture runway、operating cadence。
- Diagrams to draw: maturity domain -> evidence -> gap -> dependency -> roadmap;foundation -> pilot evidence -> platformization -> governance scaling -> product-line reuse。
- Code-lite experiment: 为一家金融零售机构做 AI maturity scorecard、capability heatmap、roadmap dependency map 和 quarterly maturity review agenda。
- 系统学习要点: AI 成熟度不是 POC 数量, 而是组织能否持续、安全、可规模化地交付 AI 业务价值。
- 设计评审问题: 你如何评估一个组织的 AI 成熟度, 并把评估结果转成 12 个月路线图?
Extension Week 82: AI Control Library 与 Assurance Evidence Graph
- Papers/concepts: control library、control objective、control activity、assurance case、claim-argument-evidence、evidence graph、release assurance。
- Diagrams to draw: claim -> risk -> control objective -> control activity -> test -> evidence -> owner -> review cadence。
- Code-lite experiment: 为 customer-facing AI、AML agent 或信贷 copilot 写 control catalog、evidence graph table、assurance case memo 和 regulator Q&A map。
- 系统学习要点: 高风险 AI 控制不能只靠 checklist, 必须把风险、控制、测试、证据、owner 和上线决策连成图谱。
- 设计评审问题: 当审计或监管问“这个 AI 为什么可以上线”时, 你如何用证据图谱回答?
Extension Week 83: AI Domain-Driven Design 与 Ubiquitous Language
- Papers/concepts: DDD、bounded context、ubiquitous language、aggregate、domain event、context map、anti-corruption layer、RAG boundary、eval vocabulary。
- Diagrams to draw: bounded context -> ubiquitous language -> knowledge source -> AI task boundary -> eval taxonomy -> tool boundary。
- Code-lite experiment: 为 AML、信贷、客服或财富 AI assistant 写 AI domain model canvas、context map、RAG boundary matrix 和 domain eval taxonomy。
- 系统学习要点: AI 语义风险来自上下文混用; DDD 能把业务语言、知识边界、工具权限和评估词表连接起来。
- 设计评审问题: 为什么企业 AI 不能只靠一个统一知识库和长 prompt 管理业务语义?
Extension Week 84: AI EventStorming 与 Agent Workflow Discovery
- Papers/concepts: EventStorming、domain event、command、actor、policy、external system、hotspot、read model、AI insertion point、compensation。
- Diagrams to draw: domain event -> command -> actor/system -> policy gate -> tool call -> HITL -> resulting event -> evidence。
- Code-lite experiment: 为 payment dispute、AML investigation 或 credit ops agent 写 event storm board schema、workflow trace matrix 和 hotspot-to-eval map。
- 系统学习要点: Agent workflow 设计要从业务事实链开始, 不是从工具清单或 PRD 页面开始。
- 设计评审问题: 你如何用事件风暴发现 AI agent 的工具边界、异常补偿和审计证据?
Extension Week 85: AI Knowledge Work Redesign 与 Role-Task Architecture
- Papers/concepts: knowledge work redesign、role-task decomposition、human-AI teaming、task allocation、accountability、override、workload-risk metrics。
- Diagrams to draw: role -> job -> task -> decision -> artifact -> handoff -> control -> metric;task allocation ladder。
- Code-lite experiment: 为 AML analyst、credit underwriter 或 customer service agent 写 role-task matrix、human-AI responsibility matrix 和 workload-risk dashboard。
- 系统学习要点: AI 转型不是发 Copilot, 而是重新设计角色、任务、责任、交接、控制和指标。
- 设计评审问题: 你如何避免 AI adoption 把验证负担和风险转嫁给一线员工?
Extension Week 86: AI Platform Service Catalog 与 Golden Paths
- Papers/concepts: platform engineering、service catalog、golden path、software templates、self-service provisioning、policy guardrails、platform product metrics。
- Diagrams to draw: use case intake -> risk tier -> golden path -> service provisioning -> eval/release gate -> observability/evidence。
- Code-lite experiment: 为银行 AI platform 写 service catalog cards、customer-facing RAG golden path、agent workflow golden path 和 platform adoption dashboard。
- 系统学习要点: AI 平台不是模型 API, 而是让团队在 guardrails 内自助交付 safe value 的产品系统。
- 设计评审问题: AI Platform PM 如何证明平台提高了 time-to-safe-value, 而不是只增加了组件数量?
Extension Week 87: AI Architecture Views、C4、arc42 与 ISO 42010
- Papers/concepts: C4 model、arc42、ISO/IEC/IEEE 42010、stakeholder、concern、viewpoint、architecture description、AI control/evidence view。
- Diagrams to draw: stakeholder-concern matrix -> viewpoint catalog -> C4 context/container/component -> runtime/eval/control/evidence views。
- Code-lite experiment: 为 customer-facing RAG、AML copilot 或 payment dispute agent 画 C4 三层图、运行时序列图和 control/evidence view。
- 系统学习要点: 高级 AI 架构表达不是一张大图, 而是按 stakeholder concern 组织的多视图决策系统。
- 设计评审问题: 你如何用 C4、arc42 和 42010 让业务、工程、风险、审计都能评审同一个 AI 系统?
Extension Week 88: AI Architecture Fitness Functions 与持续治理
- Papers/concepts: architecture fitness functions、continuous governance、quality attribute、eval gate、policy-as-code、runtime SLO、OpenTelemetry、evidence binder。
- Diagrams to draw: architecture intent -> fitness function -> CI/release gate -> runtime monitor -> exception/remediation -> architecture review。
- Code-lite experiment: 为一个高风险 AI agent 写 12 条 fitness functions, 覆盖质量、安全、隐私、工具、成本、证据和 adoption。
- 系统学习要点: AI 架构治理不能只靠上线前评审, 必须把质量和控制转成持续可检查的测试、门禁、监控和证据查询。
- 设计评审问题: 你如何证明 AI 架构上线后仍然满足原来的质量属性和风险边界?
Extension Week 89: Contract-First AI Tool/API Design、OpenAPI 与 AsyncAPI
- Papers/concepts: OpenAPI、AsyncAPI、JSON Schema、CloudEvents、tool contract、event contract、structured output、idempotency、approval、audit。
- Diagrams to draw: agent intent -> tool discovery -> schema validation -> policy decision -> tool execution/event emission -> telemetry/evidence。
- Code-lite experiment: 为 dispute resolution agent 写 3 张 tool contract cards、2 张 event contract cards、side-effect matrix 和 contract test list。
- 系统学习要点: Agent 集成不能靠 prompt 文本约定, 必须用契约、策略、审批、幂等和 telemetry 限制可执行动作。
- 设计评审问题: 你如何设计一个既能被 AI agent 调用、又能被安全和审计接受的企业工具契约?
Extension Week 90: AI Traceability Graph 与需求-评测-控制-证据追踪
- Papers/concepts: traceability graph、requirements-to-eval、requirements-to-control、W3C PROV、evidence object、release decision memo、runtime trace。
- Diagrams to draw: business outcome -> requirement -> eval -> control -> ADR -> component/config -> telemetry -> evidence -> release decision。
- Code-lite experiment: 为 AML investigation copilot 或 customer-facing policy assistant 写 requirements-eval-control-evidence graph 和 5 条 audit queries。
- 系统学习要点: 高级需求与产品架构能力不是写更多 user stories, 而是把需求、风险、评测、控制、运行证据和审计问答连接起来。
- 设计评审问题: 当审计问“这个 AI requirement 为什么算被满足”时, 你如何用 traceability graph 回答?
Extension Week 91: AI Enterprise Architecture、TOGAF ADM 与 ArchiMate
- Papers/concepts: TOGAF ADM、ArchiMate、architecture repository、architecture governance、transition architecture、AI architecture principles。
- Diagrams to draw: AI vision -> capability map -> information/application/technology architecture -> migration plateau -> governance/evidence。
- Code-lite experiment: 为银行 AI portfolio 写 AI ADM canvas、ArchiMate element mapping、architecture repository index 和 transition roadmap。
- 系统学习要点: AI EA 不是多画技术图, 而是把 use case、能力、平台资产、治理、迁移和证据放进企业架构循环。
- 设计评审问题: 你如何把分散 AI POC 收敛成 enterprise AI operating capability?
Extension Week 92: Banking AI Reference Models、BIAN、FIBO 与 ISO 20022
- Papers/concepts: BIAN service domains、FIBO ontology、ISO 20022 message semantics、banking semantic boundaries、reference model mapping。
- Diagrams to draw: banking capability -> service domain -> financial concept -> message element -> AI tool/RAG/eval/evidence。
- Code-lite experiment: 为 payment investigation、KYC、AML、credit 或 wealth AI 写 reference model mapping 和 semantic gap log。
- 系统学习要点: 金融 AI 不应只学习历史系统字段, 必须对齐行业能力、金融概念和消息语义。
- 设计评审问题: BIAN、FIBO、ISO 20022 如何帮助你减少 AI 在银行场景中的语义风险?
Extension Week 93: AI Semantic Interoperability、RDF、OWL 与 SHACL
- Papers/concepts: RDF triples、OWL ontology、SHACL constraints、semantic contract、JSON Schema boundary、semantic drift。
- Diagrams to draw: concept -> ontology slice -> RAG metadata -> tool schema -> semantic eval -> evidence graph。
- Code-lite experiment: 为 lending policy assistant 或 AML copilot 写 20 个核心概念、10 个关系、5 条 semantic constraints 和 semantic eval cases。
- 系统学习要点: 语义互操作是 AI 架构能力, 用来降低概念混淆、字段错配、指标歧义和审计不可追踪。
- 设计评审问题: 什么时候 JSON Schema 足够, 什么时候需要 ontology/SHACL 这类语义约束?
Extension Week 94: AI Value Stream Management 与 Flow Metrics
- Papers/concepts: value stream management、Flow Framework、APQC PCF、DORA/SPACE、AI flow items、benefits realization。
- Diagrams to draw: opportunity -> data readiness -> architecture/eval/control -> release -> adoption -> business outcome -> scale/stop/platformize。
- Code-lite experiment: 为客服 AI portfolio 或 AML AI portfolio 写 value stream canvas、flow metrics dashboard 和 blocked work taxonomy。
- 系统学习要点: AI 成功不是调用量和功能数, 而是从 idea 到 safe value 的流动效率、风险控制和可证明业务结果。
- 设计评审问题: 你如何判断 AI portfolio 的瓶颈在需求、数据、平台、风险门禁还是采用?
Extension Week 95: AI Regulatory Architecture、EU AI Act、NIST AI RMF 与 ISO 42001
- Papers/concepts: AI regulatory architecture、risk tier、obligations-to-controls mapping、AI management system、governance evidence。
- Diagrams to draw: regulation/framework -> obligation -> control -> lifecycle gate -> evidence -> management review。
- Code-lite experiment: 为 customer-facing lending copilot 写 risk-tier decision、control map、release gate 和 regulator evidence pack。
- 系统学习要点: 高级 AI 产品能力不是记法规条款, 而是把法规、框架和管理体系变成可运行的产品/架构控制。
- 设计评审问题: 你如何把 EU AI Act、NIST AI RMF 和 ISO 42001 转成一个可执行的 AI governance architecture?
Extension Week 96: AI Model Risk Validation 与 Independent Challenge
- Papers/concepts: SR 11-7、model risk、GenAI system validation、conceptual soundness、outcome analysis、independent challenge、revalidation trigger。
- Diagrams to draw: approved use -> system inventory -> validation plan -> challenge questions -> findings -> release decision -> revalidation loop。
- Code-lite experiment: 为 AML case narrative assistant 写 validation plan、evidence map、finding log 和 release restriction memo。
- 系统学习要点: GenAI 验证对象不是模型 benchmark, 而是包含模型、prompt、RAG、tool、workflow、HITL 和运营监控的系统。
- 设计评审问题: 模型 benchmark 很高, 为什么金融零售 AI 仍然需要独立验证和有效挑战?
Extension Week 97: AI Third-Party Vendor Contract 与 Exit Architecture
- Papers/concepts: third-party risk、vendor due diligence、AI contract clauses、model update notice、audit rights、SLA/SLO、exit architecture、concentration risk。
- Diagrams to draw: vendor capability -> data boundary -> contract control -> integration architecture -> monitoring -> exit/transition plan。
- Code-lite experiment: 为 AI客服供应商写 due diligence checklist、contract clause map、model update impact matrix 和 exit runbook。
- 系统学习要点: AI 采购不是功能对比, 而是把供应商能力、合同权利、数据边界、运行控制和退出路径一起设计。
- 设计评审问题: 你如何防止关键 AI vendor 变成不可替换、不可审计、不可退出的架构风险?
Extension Week 98: AI Data Lifecycle Governance、Provenance 与 Retention
- Papers/concepts: data lifecycle、provenance、retention/deletion、W3C PROV、privacy-by-design、lineage、training/RAG/eval/log data boundaries。
- Diagrams to draw: data source -> consent/legal basis -> transformation -> model/RAG/eval/memory/log use -> retention -> deletion -> evidence。
- Code-lite experiment: 为 banking policy assistant 写 data lifecycle register、provenance card、retention matrix 和 deletion verification checklist。
- 系统学习要点: AI 数据治理不是“有数据就用”, 而是定义来源、用途、期限、删除、血缘、权限和证明方式。
- 设计评审问题: 你如何设计一个能支持 RAG、eval、memory 和 audit 的 AI data lifecycle?
Extension Week 99: AI Agent Autonomy 与 Delegation Architecture
- Papers/concepts: autonomy levels、delegated authority、tool authority、approval-before-action、supervisor、kill switch、human escalation。
- Diagrams to draw: task -> autonomy level -> data/tool scope -> approval gate -> escalation -> evidence -> revocation。
- Code-lite experiment: 为 credit card dispute agent 写 autonomy decision record、delegation matrix、tool authority card 和 kill-switch runbook。
- 系统学习要点: Agent 自主权不是模型能力, 而是在明确边界内被委派的行动权力。
- 设计评审问题: 你如何判断一个 AI Agent 应该有多高自主性?
Extension Week 100: AI Agent Identity 与 Delegated Authorization
- Papers/concepts: OAuth、OIDC、token exchange、scope catalog、on-behalf-of、purpose-bound token、step-up approval、audit claims。
- Diagrams to draw: human user -> agent run -> token exchange -> tool gateway -> downstream service -> evidence log。
- Code-lite experiment: 为 payment dispute assistant 写 agent identity card、delegated authorization matrix、scope catalog 和 revocation runbook。
- 系统学习要点: Agent 不能靠共享 admin key 行动, 必须有可追责身份和可撤销委托授权。
- 设计评审问题: 你如何设计 AI Agent 的身份、授权和审计?
Extension Week 101: AI Runtime Evidence 与 Observability Architecture
- Papers/concepts: OpenTelemetry、OpenLineage、CloudEvents、W3C PROV、trace/span、evidence lake、SLO/KRI、incident replay。
- Diagrams to draw: AI run -> prompt/config -> retrieval -> tool call -> policy decision -> human approval -> output -> feedback -> evidence lake。
- Code-lite experiment: 为 lending policy RAG 写 span schema、evidence event contract、dashboard spec 和 audit query catalog。
- 系统学习要点: 生产级 AI 可观测性不是日志, 而是能证明 AI 如何产生输出、如何行动、如何被控制的 runtime evidence。
- 设计评审问题: 你如何让 AI 系统上线后可审计、可复盘、可持续改进?
Extension Week 102: AI Portfolio Systemic Risk 与 Dependency Architecture
- Papers/concepts: dependency graph、concentration risk、blast radius、fallback diversity、shared control、vendor concentration、portfolio KRI。
- Diagrams to draw: use cases -> shared models/vendors/data/tools/identity/HITL/evidence -> failure propagation -> controls。
- Code-lite experiment: 为 5 个金融零售 AI use cases 画 dependency graph、concentration heatmap、blast-radius map 和 fallback matrix。
- 系统学习要点: 单个 AI 项目风险可接受, 不代表 AI portfolio 的共享依赖和相关失败风险可接受。
- 设计评审问题: 你如何管理 AI portfolio 级风险, 而不是只审每个项目?
Extension Week 103: AI Customer Harm 与 Redress / Recovery Architecture
- Papers/concepts: NIST AI RMF、EU AI Act post-market monitoring、complaint taxonomy、redress、recourse、remediation、customer recovery、root-cause loop。
- Diagrams to draw: AI decision/action -> customer harm signal -> triage -> correction/compensation -> recovery -> prevention control -> evidence binder。
- Code-lite experiment: 为 AI 客服/信贷/争议处理设计 harm taxonomy、recourse workflow、remediation ledger、customer communication template 和 recovery KPI。
- 系统学习要点: 面向客户的 AI 不能只看准确率, 必须把错误发现、救济、补偿、恢复和防复发设计成产品能力。
- 设计评审问题: AI 系统伤害客户后, 你如何设计产品、流程和架构上的补救机制?
Extension Week 104: AI Fairness 与 Fair Lending / Bias Control
- Papers/concepts: fairness metrics、fair lending、disparate impact、proxy discrimination、segment eval、human review calibration、bias risk register。
- Diagrams to draw: protected attributes/proxies -> model/features/policy -> segment outcomes -> review queue -> mitigation -> evidence binder。
- Code-lite experiment: 为信贷预审或额度推荐设计 fairness eval matrix、proxy risk register、segment guardrail、override sampling 和 fairness release gate。
- 系统学习要点: 公平性不是算法团队的单点指标, 而是数据、特征、策略、人工审核、客户解释和治理证据的系统属性。
- 设计评审问题: 在不能直接使用敏感属性的场景下, 你如何发现并控制 AI 偏见?
Extension Week 105: AI Explainability 与 Contestability / Adverse Action
- Papers/concepts: explainability boundary、reason code、counterfactual explanation、contestability、adverse action notice、audit trail、human appeal。
- Diagrams to draw: decision -> reason generation -> customer-facing explanation -> appeal intake -> evidence retrieval -> human decision -> feedback。
- Code-lite experiment: 为 lending decision assistant 写 reason-code catalog、adverse-action evidence packet、appeal SLA、human review checklist 和 explanation QA rubric。
- 系统学习要点: 可解释性不是把模型内部暴露给用户, 而是给客户、运营、合规和审计一个可理解、可争议、可纠正的决策接口。
- 设计评审问题: 你如何把复杂模型的结果转成合规、可操作、客户能理解的解释?
Extension Week 106: AI Change Impact 与 Release Governance
- Papers/concepts: SR 26-2 change governance、legacy SR 11-7 context、ISO 42001 lifecycle、model/prompt/RAG/tool/policy/vendor change、impact graph、regression gate、rollback。
- Diagrams to draw: change request -> impacted use cases/data/eval/control/vendor/workflow -> regression suite -> approval -> rollout -> monitoring。
- Code-lite experiment: 为 AI portfolio 写 change classification matrix、impact graph、regression gate checklist、release evidence bundle 和 rollback runbook。
- 系统学习要点: AI 变更不是普通版本发布, 因为模型、提示词、知识源、工具、策略和供应商任一变化都会改变业务行为和风险暴露。
- 设计评审问题: 你如何治理 AI 系统的 prompt、RAG、模型和工具变更?
Extension Week 107: AI Continuous Control Monitoring 与 Assurance Architecture
- Papers/concepts: NIST AI RMF、ISO 42001 performance evaluation、SR 26-2 monitoring discipline、continuous control monitoring、control test、exception、KRI、management action、assurance evidence。
- Diagrams to draw: control objective -> telemetry/eval/sample -> automated control test -> exception -> owner action -> effectiveness verification -> management report。
- Code-lite experiment: 为 AML copilot 或 lending assistant 写 control test catalog、exception schema、KRI dashboard、sampling plan 和 monthly assurance pack。
- 系统学习要点: AI 控制不是上线前 checklist, 而是上线后持续证明控制仍有效、例外被处理、风险仍在 appetite 内的管理系统。
- 设计评审问题: 你如何证明 AI 系统的控制上线后仍然有效?
Extension Week 108: AI Operational Resilience 与 BCP / Degraded Mode Architecture
- Papers/concepts: FFIEC Business Continuity Management、SR 20-24 operational resilience、critical operations、dependency graph、impact tolerance、degraded mode、RTO/RPO、fallback decision rights、tabletop exercise。
- Diagrams to draw: critical AI workflow -> model/RAG/tool/policy/identity/HITL/vendor/evidence dependencies -> degraded modes -> recovery path -> exercise evidence。
- Code-lite experiment: 为 customer service RAG、payments dispute assistant 或 fraud triage agent 写 degraded-mode matrix、manual fallback SOP、customer communication trigger 和 resilience exercise script。
- 系统学习要点: AI resilience 不是“模型挂了就换模型”, 而是关键业务操作在依赖降级时仍能安全、可审计、可恢复地运行。
- 设计评审问题: 模型供应商、RAG 索引或人工审核队列故障时, 你如何设计 AI 业务连续性?
Extension Week 109: AI Management Information 与 Board Reporting Architecture
- Papers/concepts: management information、metric contract、MI lineage、risk appetite、board pack、control effectiveness、customer harm reporting、vendor concentration、management action log、attestation。
- Diagrams to draw: telemetry/evidence sources -> metric contracts -> lineage/quality checks -> thresholds -> management action -> board/audit committee decision。
- Code-lite experiment: 为 AI portfolio 写 board MI pack: value metrics、risk appetite dashboard、control effectiveness view、customer harm trend、vendor concentration 和 overdue action log。
- 系统学习要点: 董事会报告不是项目周报美化, 而是把 AI 事实、价值、风险、控制和行动做成可追溯、可挑战、可决策的管理信息产品。
- 设计评审问题: 你如何设计董事会能真正用来监督 AI 风险和价值的 MI?
Extension Week 110: AI Closed-Loop Learning 与 Corrective Action Architecture
- Papers/concepts: closed-loop learning、CAPA、feedback taxonomy、root cause、issue-to-change linkage、effectiveness verification、customer complaint signal、drift/eval/incident/audit feedback。
- Diagrams to draw: feedback signal -> issue triage -> root cause -> corrective/preventive action -> change gate -> verification -> residual risk and closure。
- Code-lite experiment: 为信贷解释、客服 RAG 或 AML narrative assistant 写 feedback taxonomy、root-cause codebook、CAPA workflow、change linkage table 和 closure evidence checklist。
- 系统学习要点: AI 学习闭环不是“收集反馈再微调”, 而是把失败信号转成可治理的纠正行动、验证证据和防复发机制。
- 设计评审问题: 你如何把用户反馈、人工覆盖、投诉和审计发现变成 AI 系统的可证明改进?
Extension Week 111: AI Regulatory Horizon 与 Obligation Intelligence Architecture
- Papers/concepts: EU AI Act、CFPB circulars、SR 26-2、NIST AI RMF、ISO 42001、source registry、applicability triage、obligation ontology、obligation-to-control/eval/change graph。
- Diagrams to draw: source signal -> applicability triage -> obligation extraction -> impacted product/process/control/eval -> owner action -> evidence and management report。
- Code-lite experiment: 为 lending AI、AML copilot 或 customer service RAG 建一个 obligation intelligence register、source taxonomy、triage checklist 和 control impact map。
- 系统学习要点: 监管变化不能只靠法务邮件, 必须转成可追踪的义务情报、控制变更、评测变更和产品路线图影响。
- 设计评审问题: AI 法规和监管指引不断变化时, 你如何让产品和架构持续合规可调?
Extension Week 112: AI Exception / Risk Acceptance 与 Waiver Architecture
- Papers/concepts: exception management、risk acceptance、temporary waiver、compensating control、expiry、renewal、hard stop、residual risk、management attestation。
- Diagrams to draw: policy/control gap -> exception request -> risk assessment -> compensating controls -> approval/expiry -> monitoring -> close/renew/escalate。
- Code-lite experiment: 为高风险 AI pilot 写 exception request form、risk acceptance memo、compensating-control checklist、expiry dashboard 和 no-go rule。
- 系统学习要点: 例外不是绕过治理, 而是把无法立即满足的控制缺口显性化、临时化、可监控、可到期、可升级。
- 设计评审问题: 当 AI 项目需要带风险上线或临时豁免控制时, 你如何设计风险接受机制?
Extension Week 113: AI Supply Chain / AI BOM 与 Provenance Architecture
- Papers/concepts: CISA SBOM、NIST SSDF、OWASP LLM Top 10、AI BOM、component provenance、model/data/tool/prompt/eval/human service inventory、signature、license、vulnerability response。
- Diagrams to draw: AI behavior -> model/provider/data/RAG/prompt/tool/MCP/eval/human/telemetry components -> provenance graph -> risk response。
- Code-lite experiment: 为 customer service agent 建 AI BOM schema、component register、provenance graph、license/data-rights table 和 component vulnerability response runbook。
- 系统学习要点: AI 供应链透明度不止软件依赖, 还包括模型、数据、语料、prompt、工具、connector、eval、人审和日志平台。
- 设计评审问题: 供应商模型、RAG 语料或 MCP 工具出问题时, 你如何知道哪些 AI 产品受影响?
Extension Week 114: AI Human Review Operations 与 Capacity Architecture
- Papers/concepts: human-centered AI、human review queue、skill routing、reviewer calibration、capacity planning、SLA/OLA、fatigue、override quality、surge mode、independence、audit evidence。
- Diagrams to draw: AI escalation -> risk/skill queue -> reviewer capacity -> decision/override -> quality sample -> calibration -> workforce and surge planning。
- Code-lite experiment: 为 fraud review、AML alert triage 或 lending exception 写 queue taxonomy、capacity model、skill-routing matrix、calibration plan 和 reviewer quality dashboard。
- 系统学习要点: HITL 不是页面上加“人工确认”, 而是可运营的人审产能、质量、独立性、升级权和证据系统。
- 设计评审问题: 你如何避免 human-in-the-loop 变成瓶颈或治理表演?
Extension Week 115: AI Segregation of Duties 与 Dual Control Architecture
- Papers/concepts: maker-checker、four-eyes、dual authorization、incompatible duties、independent challenge、approval-before-action、override ownership、audit evidence。
- Diagrams to draw: AI proposal -> maker -> policy/entitlement gate -> independent checker -> approval token -> action execution -> immutable evidence。
- Code-lite experiment: 为 payments repair、AML SAR narrative 或 lending exception 写 incompatible duty matrix、dual-control workflow、approval token schema 和 evidence checklist。
- 系统学习要点: AI agent 不能把建议、审批、执行、复核和纠错合并到同一角色或同一自动化链路。
- 设计评审问题: 你如何给 AI workflow 设计职责分离和双控?
Extension Week 116: AI Consent / Preference 与 Purpose-Bound Data Architecture
- Papers/concepts: purpose catalog、consent event、preference center、purpose-bound token、withdrawal、re-consent、runtime enforcement、data minimization。
- Diagrams to draw: customer purpose/preference -> consent event store -> policy decision -> RAG/data/tool filter -> AI response/action -> audit evidence。
- Code-lite experiment: 为 RM copilot 或 open banking assistant 写 purpose catalog、consent event schema、withdrawal flow、RAG filter rule 和 re-consent trigger。
- 系统学习要点: consent 不是一个万能勾选框, 而是按目的、范围、时间、能力变化和撤回状态执行的运行时控制。
- 设计评审问题: 你如何防止 AI 把客户同意用于未授权目的?
Extension Week 117: AI Shadow AI 与 Citizen Development Governance Architecture
- Papers/concepts: shadow AI discovery、citizen developer、approved path、risk tier、DLP、prompt/data policy、lightweight gate、platform golden path、migration。
- Diagrams to draw: shadow AI signal -> use case intake -> data/risk classification -> approved tool path or remediation -> migration to governed platform -> monitoring。
- Code-lite experiment: 设计 shadow AI discovery register、citizen AI intake form、risk-tier decision tree、approved tool catalog 和 migration backlog。
- 系统学习要点: shadow AI 是未满足工作流需求的信号, 但在金融服务里必须转成可治理的采用路径和平台能力。
- 设计评审问题: 你如何治理员工私下使用 AI 工具, 而不是简单禁止?
Extension Week 118: AI Conduct Risk / Suitability 与 Sales Guardrails Architecture
- Papers/concepts: conduct risk、suitability、Reg BI concepts、approved claims、forbidden claims、eligibility gate、vulnerable customer escalation、surveillance、complaints linkage。
- Diagrams to draw: customer context -> eligibility/suitability/conduct policy -> AI recommendation/offer -> disclosure/handoff -> surveillance -> complaint/remediation loop。
- Code-lite experiment: 为 wealth RM copilot 或 card offer personalization 写 approved-claim library、suitability gate、forbidden-claim detector、surveillance KRI 和 complaint linkage。
- 系统学习要点: 客户影响型 AI 不能只优化转化率, 必须把合适性、销售行为、披露、弱势客户和投诉整改做成产品护栏。
- 设计评审问题: 你如何设计 AI 推荐或销售助手, 避免误导销售和不适当建议?
Extension Week 119: AI Records / Retention / Legal Hold 与 eDiscovery Architecture
- Papers/concepts: records taxonomy、retention class、legal hold、ESI、WORM / audit trail、regulator production、eDiscovery export、deletion conflict。
- Diagrams to draw: AI run -> prompt/RAG/tool/approval/output/eval/incident records -> retention policy -> legal hold override -> production package。
- Code-lite experiment: 为 lending copilot 或 AML SAR assistant 写 AI record taxonomy、retention matrix、legal hold trigger、export manifest 和 evidence chain。
- 系统学习要点: AI 证据不是“日志多存一点”, 而是把哪些对象是记录、留多久、何时保全、如何调取和如何证明完整性设计清楚。
- 设计评审问题: 你如何设计 AI 系统的 records retention 和 legal hold, 同时处理删除请求和诉讼保全冲突?
Extension Week 120: AI Data Residency / Cross-Border 与 Sovereign AI Architecture
- Papers/concepts: data residency、cross-border transfer、sovereign AI、regional model route、key residency、processor matrix、transfer impact review、support access。
- Diagrams to draw: user/data jurisdiction -> classification -> model/RAG/tool/log route -> key boundary -> vendor/support access -> transfer evidence。
- Code-lite experiment: 为 open banking assistant 或 global RM copilot 写 residency decision tree、jurisdiction-purpose-vendor matrix、region routing policy 和 transfer review evidence。
- 系统学习要点: AI 数据跨境风险不只在 prompt, 还包括 RAG 语料、embedding、日志、eval、供应商支持、密钥和人审队列。
- 设计评审问题: 你如何判断一个 AI 功能能不能调用某个区域外模型或供应商?
Extension Week 121: AI Customer Communications 与 Regulated Content Lifecycle
- Papers/concepts: regulated communication、approved claims、forbidden claims、pre-use review、post-use surveillance、disclosure versioning、channel capture、complaint linkage。
- Diagrams to draw: product claim -> approved content library -> AI draft -> policy scan -> human/pre-use review -> customer channel -> surveillance -> complaint/remediation。
- Code-lite experiment: 为 credit card offer、wealth RM message 或 servicing chatbot 写 approved-claim library、forbidden-claim detector、disclosure version map 和 communication evidence schema。
- 系统学习要点: 客户沟通型 AI 不是文案生成器, 而是内容资产、审批、渠道、披露、监控、投诉和整改的生命周期系统。
- 设计评审问题: 你如何防止 AI 在营销、销售或客服沟通中生成误导性、过度承诺或未批准的内容?
Extension Week 122: AI Financial Crime Typology / Scenario Coverage 与 SAR Evidence Architecture
- Papers/concepts: AML typology、red flags、scenario library、coverage matrix、synthetic vs real-case eval、SAR narrative evidence、alert-to-case-to-SAR traceability。
- Diagrams to draw: advisory/red flag -> typology object -> scenario cases -> rule/model/LLM triage -> evidence bundle -> SAR narrative -> QA and coverage dashboard。
- Code-lite experiment: 为 AML copilot 写 typology object model、red-flag evidence map、scenario coverage matrix、SAR evidence bundle schema 和 coverage KRI。
- 系统学习要点: 金融犯罪 AI 的核心不是“会不会判断可疑”, 而是覆盖哪些类型学、证据如何绑定、盲区如何暴露、SAR 叙述如何可复核。
- 设计评审问题: 你如何证明一个 AML AI copilot 覆盖了关键 typology, 而不是只在合成样本上表现好?
Extension Week 123: AI Intellectual Property / Content Rights 与 Provenance Architecture
- Papers/concepts: content rights、copyrightability、human authorship、input license、RAG corpus rights、generated output review、C2PA、Content Credentials、takedown。
- Diagrams to draw: source asset -> rights clearance -> RAG/generation -> output classification -> copyrightability/similarity/claim review -> C2PA manifest -> publish/reuse/takedown。
- Code-lite experiment: 为 marketing generator 或 wealth education assistant 写 content object taxonomy、rights matrix、C2PA provenance record、output clearance workflow 和 takedown runbook。
- 系统学习要点: 生成内容不是“模型产物”这么简单, 必须把输入权利、语料许可、输出用途、来源证明和发布责任串成生命周期。
- 设计评审问题: 你如何设计 AI 生成内容的权利清查和 provenance, 防止营销或客服内容带来版权/声明风险?
Extension Week 124: AI Deepfake / Synthetic Identity 与 Authentication Fraud Architecture
- Papers/concepts: identity proofing、synthetic identity、deepfake、liveness、presentation attack detection、digital injection、device signal、step-up authentication、fraud ops。
- Diagrams to draw: onboarding/recovery/payment event -> identity proofing signals -> liveness/PAD -> device/behavior graph -> risk score -> step-up/human review -> fraud evidence。
- Code-lite experiment: 为 digital onboarding、account recovery 或 high-risk payment 写 deepfake threat model、proofing control matrix、step-up policy 和 fraud evidence schema。
- 系统学习要点: AI deepfake 风险不是单一检测模型问题, 而是身份、设备、行为、交易意图、人工复核和客户摩擦的组合架构。
- 设计评审问题: 当客户通过 MFA 但正在被 deepfake/voice clone 欺骗时, 产品和架构如何识别并干预?
Extension Week 125: AI Workforce / HR Decision 与 Employee Monitoring Governance
- Papers/concepts: employment AI、selection procedure、adverse impact、worker well-being、human oversight、employee monitoring、worker data minimization、inclusive hiring。
- Diagrams to draw: workforce AI use case -> decision impact tier -> data minimization -> adverse impact/accessibility review -> human review -> notice/explanation -> monitoring。
- Code-lite experiment: 为 call-center QA copilot、branch staffing optimizer 或 hiring screener 写 workforce AI inventory、adverse impact test plan、employee notice 和 escalation workflow。
- 系统学习要点: 员工侧 AI 不是内部工具就低风险, 它会影响招聘、绩效、排班、培训、监控和员工信任。
- 设计评审问题: 你如何治理 HR 或员工监控 AI, 避免效率提升变成不可解释的劳动决策风险?
Extension Week 126: AI Incident Disclosure / Liability 与 Risk Transfer Architecture
- Papers/concepts: AI incident taxonomy、materiality triage、customer/regulator/board notification、liability boundary、vendor indemnity、insurance mapping、loss quantification、tabletop。
- Diagrams to draw: AI incident -> impact/materiality triage -> customer/regulator/board/vendor/insurer workflow -> evidence pack -> remediation -> risk transfer review。
- Code-lite experiment: 为 customer-harm AI incident 或 vendor model outage 写 incident taxonomy、materiality decision tree、liability boundary map、insurance notification checklist 和 executive memo。
- 系统学习要点: 高级 AI 架构师必须把事故事实、影响、披露、合同、保险、赔偿和整改证据连接成管理层可决策的包。
- 设计评审问题: AI 事故发生后, 你如何帮助高管判断是否通知客户、监管、董事会、供应商和保险人?
Extension Week 127: AI Post-Quantum 与 Cryptographic Agility Architecture
- Papers/concepts: post-quantum cryptography、cryptographic agility、AI crypto inventory、long-lived evidence、signature profile、key/cert lifecycle、vendor readiness、evidence replay。
- Diagrams to draw: AI use case -> data/evidence lifetime -> crypto dependency -> vendor readiness -> migration wave -> evidence verification。
- Code-lite experiment: 为 customer-facing RAG 或 agent tool workflow 写 AI crypto inventory、long-lived evidence matrix、PQC vendor readiness scorecard 和 crypto-agile ADR。
- 系统学习要点: 高级 AI 架构师不需要替代密码学专家, 但必须能把长期证据、签名、密钥、供应商和迁移波次组织成业务可执行路线图。
- 设计评审问题: 如果公司要准备 post-quantum migration, 你如何评估 AI 平台、RAG、agent tool 和长期证据的影响?
Extension Week 128: AI Authorized Push Payment 与 Scam Intervention Architecture
- Papers/concepts: authorized push payment scam、social engineering、beneficiary risk、customer intent confidence、intervention ladder、safe pause、fraud escalation、remediation evidence。
- Diagrams to draw: payment intent -> scam signal fusion -> beneficiary/mule risk -> step-up friction -> human escalation -> payment release/hold -> complaint/remediation loop。
- Code-lite experiment: 为 real-time payment 场景写 scam taxonomy、customer intent rubric、intervention ladder、evidence schema 和 false-positive review dashboard。
- 系统学习要点: 高级产品架构不是简单“拦截付款”, 而是在客户自主、诈骗防护、摩擦、证据和救济之间做可审计的实时决策。
- 设计评审问题: 你如何设计 AI 支持的 APP scam 干预系统, 既减少诈骗损失又避免过度阻断合法客户意图?
Extension Week 129: AI Agent Marketplace 与 Tool Certification Governance Architecture
- Papers/concepts: agent marketplace、tool certification、capability card、risk tier、OpenAPI/AsyncAPI/MCP manifest、signed package、runtime permission、owner attestation、deprecation。
- Diagrams to draw: capability intake -> certification gates -> marketplace publication -> runtime entitlement -> invocation ledger -> monitoring -> renewal/deprecation。
- Code-lite experiment: 为一个内部 agent tool marketplace 写 capability card、risk-tier matrix、tool/API certification checklist、signed package manifest 和 runtime permission policy。
- 系统学习要点: 企业 agent marketplace 不是普通服务目录, 它是把可发现、可复用、可授权、可监控、可退出的 agentic capability 做成平台产品。
- 设计评审问题: 如何避免企业内部 agent/tool marketplace 变成高风险 shadow AI supply chain?
Extension Week 130: AI Customer Vulnerability / Accessibility 与 Inclusive AI Architecture
- Papers/concepts: vulnerable customer、inclusive AI、accessibility、WCAG、plain language、cognitive load、support-need taxonomy、safe escalation、complaint linkage、dignified intervention。
- Diagrams to draw: customer signal -> support need classification -> accessibility/channel adaptation -> plain-language response -> human handoff -> QA/complaint/CAPA feedback。
- Code-lite experiment: 为 collections、fraud dispute 或 branch/contact center AI 写 support-need taxonomy、accessibility release gate、handoff evidence schema 和 inclusive AI metrics dashboard。
- 系统学习要点: 面向弱势客户的 AI 架构不是贴标签, 而是用最小必要数据、可访问渠道、尊严保护、人工升级和投诉闭环支撑更公平的客户结果。
- 设计评审问题: 你如何设计金融零售 AI, 既能识别客户困难/诈骗/可访问需求, 又不侵犯隐私、不歧视、不让客户失去自主权?
Extension Week 131: AI Payment Dispute / Chargeback 与 Claims Evidence Architecture
- Papers/concepts: payment dispute、chargeback、EFT error claim、billing error、case clock、provisional credit logic、evidence bundle、merchant/customer evidence、complaint linkage。
- Diagrams to draw: dispute intake -> product/rail/rule classification -> evidence collection -> AI triage/recommendation -> human decision -> customer communication -> complaint/RCA loop。
- Code-lite experiment: 为 debit card 或 credit card dispute 写 claim taxonomy、case clock matrix、evidence manifest、AI routing rubric 和 customer communication control。
- 系统学习要点: 支付争议 AI 的核心不是“自动判责”, 而是把时限、证据、客户沟通、临时贷记、人工复核和投诉闭环组织成可审计 claims architecture。
- 设计评审问题: 你如何设计 AI 支持的支付争议/拒付系统, 既提高处理效率又不牺牲客户权利、证据质量和合规可证明性?
Extension Week 132: AI Collections / Hardship 与 Delinquency Treatment Architecture
- Papers/concepts: delinquency prediction、hardship treatment、contact strategy、fair treatment、Reg F awareness、vulnerable customer signal、accessibility、complaint linkage、conduct QA。
- Diagrams to draw: delinquency signal -> treatment eligibility -> contact policy -> hardship/payment option -> human escalation -> outcome monitoring -> complaint/CAPA feedback。
- Code-lite experiment: 为逾期账户设计 treatment matrix、contact guardrail、hardship workflow、accessibility gate 和 customer outcome dashboard。
- 系统学习要点: 催收 AI 成熟度不是多催回多少钱, 而是能证明客户处理公平、尊严、可访问、可解释、可复核且可持续降低损失。
- 设计评审问题: 你如何用 AI 改造催收/困难客户处理, 同时控制 conduct risk、投诉风险和模型误伤?
Extension Week 133: AI Voice AI / Contact Center 与 Agent Assist Governance Architecture
- Papers/concepts: voice bot、real-time transcription、agent assist、call summary、next-best-action、sentiment/emotion signal、QA automation、disclosure boundary、complaint capture。
- Diagrams to draw: voice/audio stream -> transcription -> policy/knowledge retrieval -> agent assist -> final-channel capture -> QA/complaint/model monitoring。
- Code-lite experiment: 为客服中心 AI 写 call evidence schema、agent-assist approved action matrix、summary QA rubric、complaint trigger list 和 telemetry dashboard。
- 系统学习要点: Voice AI 不是单个机器人, 而是客户沟通、坐席辅助、内容治理、投诉、QA、员工绩效和模型风险交织的运行系统。
- 设计评审问题: 你如何治理金融客服中心的 voice AI 和 agent assist, 避免错误建议、误导沟通、投诉漏记和坐席过度依赖?
Extension Week 134: AI Digital Identity Wallet / Verifiable Credentials 与 Trust Architecture
- Papers/concepts: digital identity wallet、verifiable credentials、DID、WebAuthn/passkeys、trust registry、selective disclosure、revocation/status、verified claim vs AI-inferred attribute。
- Diagrams to draw: issuer -> wallet/holder -> presentation -> verifier policy -> risk/AI decision -> evidence -> revocation/status monitoring。
- Code-lite experiment: 为 KYC onboarding 或 agent delegation 写 credential acceptance policy、issuer trust registry、selective disclosure UX、verification evidence schema 和 revocation handling runbook。
- 系统学习要点: 身份钱包/VC 的高级价值不是“上链身份”, 而是把可验证 claim、认证上下文、隐私最小化、信任策略和 AI 推断边界分清楚。
- 设计评审问题: 你如何让 AI 使用 digital identity wallet 和 verifiable credentials, 同时避免把 AI 推断属性误当成已验证身份事实?
Extension Week 135: AI Open Banking / Open Finance 与 Consented Data Sharing Architecture
- Papers/concepts: CFPB 1033 awareness、open banking、open finance、consented data sharing、authorized third party、developer interface、revocation、data minimization、API contract、AI use boundary。
- Diagrams to draw: customer authorization -> data provider API -> third-party recipient -> AI feature/RAG boundary -> customer value -> revocation/audit evidence。
- Code-lite experiment: 为 personal finance assistant 或 lending prefill 场景写 authorization UX、data scope matrix、third-party onboarding checklist、AI usage policy 和 revocation evidence schema。
- 系统学习要点: 开放金融 AI 不是“拿更多账户数据”, 而是把客户授权、数据最小化、撤回、第三方风险、API 契约和 AI 决策边界变成同一套产品架构。
- 设计评审问题: 你如何设计一个使用开放银行数据的 AI 产品, 既创造客户价值又避免无限制数据采集和目的漂移?
Extension Week 136: AI Personalized Pricing / Offer Decisioning 与 Governance Architecture
- Papers/concepts: personalized pricing、offer decisioning、surveillance pricing、risk-based pricing、relationship offer、eligibility policy、feature boundary、adverse-action handoff、experiment guardrail、complaint monitoring。
- Diagrams to draw: customer/product context -> eligibility policy -> pricing/offer model -> explanation/reason handoff -> customer presentation -> monitoring/complaint/RCA loop。
- Code-lite experiment: 为 retention offer 或 fee waiver decision 写 feature allow/deny list、offer policy matrix、experiment risk gate、reason-code handoff 和 surveillance pricing allegation playbook。
- 系统学习要点: 个性化 offer 的成熟度不是 uplift 最大, 而是能证明价格/额度/优惠没有滑向不可解释、不可申诉、侵入式或剥削式的个体化定价。
- 设计评审问题: 你如何区分合理的 risk-based pricing / customer relevance 与高风险 surveillance pricing?
Extension Week 137: AI Document Intelligence / Unstructured Data 与 Evidence Quality Architecture
- Papers/concepts: document intelligence、OCR、layout understanding、entity extraction、confidence calibration、human review、document provenance、chain of custody、records mapping、tamper detection。
- Diagrams to draw: document intake -> provenance/tamper check -> classification/OCR/layout extraction -> confidence/review -> workflow decision -> records/evidence archive。
- Code-lite experiment: 为 KYC、支付争议或贷款服务设计 document evidence manifest、field confidence rubric、human review queue、records retention mapping 和 extraction error dashboard。
- 系统学习要点: 文档智能不是 OCR 自动化, 而是 evidence-grade extraction、人工复核、记录治理、工作流控制和事后可重放证据的组合。
- 设计评审问题: 你如何证明 AI 从客户文档抽取的字段足够可靠, 可以支撑金融运营决策或客户争议处理?
Extension Week 138: AI Privacy Clean Room / Data Collaboration 与 Measurement Architecture
- Papers/concepts: privacy clean room、data collaboration、partner measurement、aggregation、differential privacy、synthetic data、secure enclave、PEC、de-identification risk、purpose limitation、output control。
- Diagrams to draw: partner use-case intake -> data contract/purpose review -> clean-room computation -> query/output review -> measurement result -> evidence/monitoring/incident loop。
- Code-lite experiment: 为 marketing measurement、fraud insight 或 portfolio benchmark 设计 clean-room use-case intake、data contract、query template、output threshold、partner risk scorecard 和 evidence pack。
- 系统学习要点: Clean room 不是更安全的文件交换, 而是把协作问题、输入数据、计算、输出、AI 使用和合作方行为全部目的绑定并可证明的产品架构。
- 设计评审问题: 你如何设计 privacy clean room, 让合作方能测量效果, 但不能重识别客户、扩大用途或把数据拿去训练模型?
Extension Week 139: AI Credit Lifecycle / Underwriting / Line Management Governance Architecture
- Papers/concepts: credit lifecycle、prequalification、underwriting、line assignment、CLI/CLD、risk-based pricing handoff、adverse action reason、manual override、fair lending/proxy risk、portfolio monitoring、complaint linkage、model risk。
- Diagrams to draw: customer signal -> offer/prequal -> application -> decision factory -> line/pricing handoff -> reason packet -> review/appeal/complaint -> portfolio/model-risk monitoring。
- Code-lite experiment: 为信用卡授信或个人贷款设计 decision inventory、reason catalog、line governance matrix、override workflow、portfolio KRI 和 complaint-to-CAPA evidence binder。
- 系统学习要点: 信用 AI 不是一个 approval model, 而是跨授信、额度、价格、解释、人工复核、投诉和组合表现的生命周期治理系统。
- 设计评审问题: 你如何设计 AI credit lifecycle, 让 underwriting、额度管理、adverse action、fair lending、组合监控和客户救济能被同一套证据链证明?
Extension Week 140: AI Wealth Advice / Robo-Advisor / Best Interest Boundary Architecture
- Papers/concepts: robo-advisor、advice boundary、education vs recommendation vs execution、risk tolerance、risk capacity、approved investment universe、suitability/best-interest style controls、disclosure、human escalation、supervision evidence。
- Diagrams to draw: customer intent -> advice boundary classifier -> investor profile snapshot -> approved universe -> recommendation policy engine -> disclosure/evidence -> execution confirmation -> supervision/complaint loop。
- Code-lite experiment: 为数字投顾设计 advice taxonomy、risk-profile schema、product universe metadata、recommendation rationale object、human escalation rules 和 supervision sampling dashboard。
- 系统学习要点: 财富 AI 的核心不是“推荐买什么”, 而是证明推荐没有越过业务边界, 并且在当时画像、产品宇宙、披露和监督控制下可复盘。
- 设计评审问题: 你如何区分教育、一般信息、个性化建议、投资组合管理和交易执行, 并把这些边界落实到 AI 产品架构?
Extension Week 141: AI Treasury / Liquidity / ALM Forecasting / Stress Evidence Architecture
- Papers/concepts: treasury、liquidity forecasting、deposit beta/runoff、cash-flow projection、ALM、IRRBB、stress testing、FTP、contingency funding、ALCO workflow、model risk、board MI、data lineage。
- Diagrams to draw: balance sheet/event data -> forecast feature layer -> scenario library -> liquidity/ALM model -> action recommendation -> ALCO decision -> funding action -> board MI/evidence loop。
- Code-lite experiment: 为零售银行存款流失和流动性压力设计 forecast object、scenario catalog、data lineage map、committee decision pack、contingency trigger 和 management information dashboard。
- 系统学习要点: Treasury AI 不是通用预测看板, 而是把预测、压力场景、委员会决策、资金动作、模型风险和董事会证据连接成 ALM 操作系统。
- 设计评审问题: 你如何让 AI liquidity forecast 从“预测数值”变成 ALCO 可以采用、审计可以复盘、董事会可以监督的决策证据?
Extension Week 142: AI Complaint Intelligence / Root Cause / Regulatory Response Architecture
- Papers/concepts: complaint intelligence、AI summarization governance、harm taxonomy、root cause ontology、product defect linkage、regulatory response evidence、CAPA、customer communication、board MI、model risk。
- Diagrams to draw: complaint intake -> original evidence preservation -> AI classification/summary -> harm severity -> RCA graph -> product defect/CAPA -> regulatory response pack -> effectiveness monitoring。
- Code-lite experiment: 为支付争议、费用解释或信贷拒绝投诉设计 complaint ledger、harm taxonomy、RCA template、evidence manifest、CAPA closure rule 和 board complaint MI。
- 系统学习要点: 投诉 AI 不是客服分类器, 而是客户伤害、产品缺陷、控制失效、监管响应和持续改进之间的证据架构。
- 设计评审问题: 你如何把投诉从工单处理升级成 complaint-to-control loop, 并证明 AI 摘要、根因、整改和客户沟通都可追溯?
Extension Week 143: AI Account Opening / KYC / Onboarding Decision Architecture
- Papers/concepts: account opening、KYC/CIP/CDD、identity proofing、document evidence、risk-tiering、beneficial ownership、exception queue、fraud/AML handoff、customer harm、model risk。
- Diagrams to draw: customer application -> identity/KYC evidence -> risk decision -> exception queue -> funding/activation -> fraud/AML handoff -> monitoring/complaint loop。
- Code-lite experiment: 设计 onboarding decision inventory、KYC evidence schema、risk-tier rule map、exception queue、abandonment/customer-harm dashboard 和 activation control。
- 系统学习要点: 开户 AI 不是表单补全, 而是客户准入、身份可信度、金融犯罪交接、资金激活和证据治理的入口控制系统。
- 设计评审问题: 你如何设计 AI account opening, 让 IDV、CIP/CDD、欺诈、AML、例外队列和客户沟通可以被同一套证据链解释?
Extension Week 144: AI AML Alert Triage / Investigation Workbench Architecture
- Papers/concepts: AML alert triage、queue prioritization、entity resolution、transaction graph、case assembly、analyst copilot、evidence workspace、SAR escalation guardrails、QA、model risk、audit trail。
- Diagrams to draw: monitoring alert -> entity resolution -> graph/timeline context -> evidence workspace -> analyst decision -> SAR consideration packet -> QA/tuning feedback -> audit replay。
- Code-lite experiment: 为 AML 调查工作台设计 alert priority policy、case evidence schema、copilot output contract、SAR draft guardrail、QA rubric 和 scenario tuning feedback loop。
- 系统学习要点: AML AI 的价值不是自动报送 SAR, 而是让调查上下文更完整、队列更可解释、处置更一致、质量反馈能回到场景调优。
- 设计评审问题: 你如何把 AML alert triage 设计成 evidence-first investigation workbench, 同时避免 AI 越权做 suspicious activity 或 SAR filing decision?
Extension Week 145: AI Payment Operations / Reconciliation / Settlement Exception Architecture
- Papers/concepts: payment operations、ACH/wire/card/core ledger files、reconciliation、settlement exception、returns、repair queue、suspense account、ledger break、cut-off windows、dual control、SLA、incident evidence。
- Diagrams to draw: payment events/files -> normalization -> matching/reconciliation -> break classification -> repair/suspense workflow -> settlement confirmation -> downstream reporting/incident loop。
- Code-lite experiment: 为支付运营设计 reconciliation object model、settlement break taxonomy、repair queue SLA、suspense controls、dual-control approval 和 ops evidence pack。
- 系统学习要点: 支付运营 AI 不是争议处理机器人, 而是把多 rail、多文件、多账本、多 cut-off 的异常处理变成可解释、可复核、可恢复的运营系统。
- 设计评审问题: 你如何用 AI 改造 payment reconciliation, 但仍保留双控、SLA、账务完整性、客户影响识别和异常复盘证据?
Extension Week 146: AI Regulatory Reporting / Risk Data Aggregation / Attestation Architecture
- Papers/concepts: regulatory reporting、risk data aggregation、BCBS 239、Call Report、FR Y-14、report lineage、transformation controls、metric definitions、reconciliations、attestation、restatement、data quality、AI assist boundary。
- Diagrams to draw: source systems -> reporting data layer -> metric contracts -> transformation controls -> reconciliation/edit checks -> attestation -> submission evidence -> issue/remediation loop。
- Code-lite experiment: 为 Call Report / FR Y-14 style reporting 设计 obligation inventory、report lineage map、metric contract、reconciliation control、attestation workflow 和 resubmission evidence vault。
- 系统学习要点: 监管报送 AI 不是自动写报告, 而是把风险数据聚合、口径、血缘、对账、签证和更正重报变成可以复算的 reporting data product。
- 设计评审问题: 你如何把 BCBS 239 翻译成 AI-assisted regulatory reporting architecture, 并证明每个报表数字和 narrative 都有来源、控制和签署?
Extension Week 147: AI Core Banking Modernization / Strangler / Evidence Architecture
- Papers/concepts: core banking modernization、legacy strangler、anti-corruption layer、capability slicing、canonical model、event capture、dual-run、data migration、reconciliation、cutover、rollback、BCP、audit evidence。
- Diagrams to draw: legacy core -> ACL/canonical layer -> event/read replica -> new capability slice -> dual-run comparison -> migration/cutover -> rollback/degraded mode -> evidence vault。
- Code-lite experiment: 为存款账户或贷款 servicing 设计 capability slice map、legacy field mapping、dual-run reconciliation dashboard、cutover runbook 和 customer-harm evidence pack。
- 系统学习要点: 核心现代化不是“换核心系统”, 而是逐步转移事实源、交易权威、运营流程和证据责任的架构计划。
- 设计评审问题: 你如何用 AI 加速核心银行现代化, 同时不让 AI 拥有 final migration decision 或未复核的核心写入权限?
Extension Week 148: AI Requirements Mining / Process Knowledge Extraction Architecture
- Papers/concepts: requirements mining、process knowledge extraction、artifact authority、permission filtering、domain vocabulary、ambiguity detection、requirement quality rubric、traceability graph、acceptance criteria、SME validation、change impact。
- Diagrams to draw: BRD/PRD/SOP/Jira/log/code/API/test assets -> ingestion/permission -> extraction -> ambiguity/conflict review -> traceability graph -> acceptance/eval contract -> SME validation -> backlog/change loop。
- Code-lite experiment: 为支付运营或 AML workbench 设计 artifact inventory、source authority matrix、requirement extraction schema、ambiguity queue、traceability graph 和 SME review workflow。
- 系统学习要点: AI 需求挖掘不是替代 BA, 而是把散落资产转成可质疑、可追踪、可验收、可持续学习的需求知识系统。
- 设计评审问题: 你如何证明 AI 抽取的需求不是幻觉, 并能连接到流程、系统、控制、测试和上线证据?
Extension Week 149: AI UAT / Regression Certification / Business Acceptance Architecture
- Papers/concepts: UAT evidence architecture、golden journey library、synthetic transaction pack、persona/segment coverage、AI regression、workflow replay、shadow testing、parallel run、defect triage、release certification、rollback criteria。
- Diagrams to draw: requirements/eval contract -> golden journeys -> synthetic data/transaction pack -> regression/shadow/parallel run -> defect triage -> release certificate -> post-release monitoring/rollback。
- Code-lite experiment: 为开户、支付对账或 AI agent workbench 设计 golden journey catalog、synthetic transaction schema、business acceptance checklist、regression gate 和 release evidence binder。
- 系统学习要点: UAT 不是签字仪式, 而是把业务风险、客户旅程、控制覆盖、AI regression 和运营准备证明成可发布证据。
- 设计评审问题: 你如何设计 AI 产品的 UAT, 让业务 owner 能放心签署, 而不是只看 demo 或主观体验?
Extension Week 150: AI Product Portfolio Rationalization / Capability Decommission Architecture
- Papers/concepts: product portfolio rationalization、capability inventory、application portfolio、overlapping capability、cost-to-serve、architectural debt、model/tool/vendor dependency、records/legal-hold、migration cohorts、sunset communication、decommission evidence。
- Diagrams to draw: portfolio inventory -> usage/cost/risk/dependency graph -> rationalization decision -> migration cohort -> sunset controls -> customer/ops communication -> decommission evidence -> capacity reallocation。
- Code-lite experiment: 为重复 AI copilots、旧报表平台或遗留支付能力设计 capability scorecard、dependency graph、migration cohort plan、sunset checklist 和 post-decommission review。
- 系统学习要点: 产品组合治理不只是做新东西, 还要证明哪些能力该合并、迁移、下线, 并让客户、运营、记录和依赖系统安全退出。
- 设计评审问题: 你如何用 AI 辅助 portfolio rationalization, 同时避免让模型决定客户影响型下线和监管敏感能力退出?
Extension Week 151: AI Adoption Analytics / Behavior Change / Value Realization Architecture
- Papers/concepts: adoption event taxonomy、work-as-done baseline、behavior funnel、cohort evidence、change saturation、value leakage、human review load、override signal、trust telemetry、operational learning loop。
- Diagrams to draw: baseline workflow -> AI touchpoints -> adoption events -> behavior change indicators -> process/value outcomes -> risk/control effects -> value realization evidence -> improvement backlog。
- Code-lite experiment: 为 AML 调查、KYC onboarding 或 contact-center agent assist 设计 adoption telemetry schema、cohort dashboard、value leakage log、resistance signal taxonomy 和 benefits realization review。
- 系统学习要点: AI 采用不是 seat activation 或 prompt count, 而是可证明的工作行为改变、流程结果改善、风险未转嫁和价值可持续兑现。
- 设计评审问题: 你如何证明一个 AI copilot 真的改变了一线工作方式并创造价值, 而不是只被试用或被动打开?
Extension Week 152: AI Executive Investment Narrative / Business Case / Board Decision Architecture
- Papers/concepts: outcome thesis、causal value logic、option architecture、cost-to-learn、confidence level、risk appetite、architecture dependency、management information、benefits realization、stop/scale/pivot gate。
- Diagrams to draw: strategic outcome -> option set -> architecture dependency -> evidence plan -> cost/value/risk model -> governance gates -> board narrative -> stop/scale/pivot decision。
- Code-lite experiment: 为投诉智能、开户现代化、AML triage 或监管报送自动化设计一页 investment memo、option tree、value assumption ledger、risk appetite map 和 stop/scale/pivot scorecard。
- 系统学习要点: 高级 AI 产品与架构负责人要把技术方案转成可投资、可质疑、可停止、可扩展的决策包, 而不是只展示 demo 和愿景。
- 设计评审问题: 你如何向董事会解释一个 AI 项目的投资逻辑、关键假设、风险边界和何时停止?
Extension Week 153: AI Stakeholder Decision Coalition / Influence Risk Architecture
- Papers/concepts: stakeholder ontology、decision-rights map、concern-to-viewpoint mapping、hidden veto、misaligned incentives、coalition graph、forum architecture、evidence binder、communication artifact、escalation path。
- Diagrams to draw: stakeholders -> decision rights/influence -> concerns -> architecture viewpoints -> requirements/controls/evidence -> decision forum -> escalation/resolution -> adoption communication。
- Code-lite experiment: 为 AI agent tool gateway、KYC AI、AML triage、collections hardship 或 personalized pricing 设计 stakeholder-concern matrix、coalition graph、forum cadence 和 concern-to-evidence traceability map。
- 系统学习要点: stakeholder management 不是软技能附录, 而是决定 AI 架构边界、控制、证据、审批和采用速度的交付架构。
- 设计评审问题: 当 CISO、CRO、业务 owner、运营和销售对同一个 AI 产品有冲突诉求时, 你如何组织可决策的对齐机制?
Extension Week 154: AI Workforce Capability Academy / Role-Skill Transformation Architecture
- Papers/concepts: role taxonomy、skill ontology、proficiency levels、evidence-of-competence、scenario-based assessment、portfolio artifact、community of practice、adoption telemetry、workforce risk、skills debt、academy-as-product-platform。
- Diagrams to draw: business capabilities -> AI-era roles -> skill ontology -> learning paths -> scenario assessments -> portfolio evidence -> adoption outcomes -> capability maturity review。
- Code-lite experiment: 为 AI 产品架构、解决方案架构、RiskOps/EvalOps、data product management 和 AML/KYC operations 设计 role-skill matrix、scenario assessment pack、evidence rubric 和 academy dashboard。
- 系统学习要点: AI 能力建设不是课程完成率, 而是角色能力、场景表现、能力证据和真实业务采用的持续系统。
- 设计评审问题: 你如何设计一个 AI capability academy, 证明团队真的具备 AI 产品架构、解决方案架构、需求建模和运营落地能力?
Extension Week 155: AI Delivery Assurance / Control Tower / Release Readiness Architecture
- Papers/concepts: delivery assurance、control tower、readiness gate taxonomy、evidence contract、dependency burn-down、risk telemetry、architecture runway evidence、launch readiness、scale readiness、post-release assurance。
- Diagrams to draw: discovery -> pilot -> release -> scale -> post-release assurance, with evidence objects, dependencies, risks, readiness gates, residual risk owners and executive confidence narrative.
- Code-lite experiment: 为 AML triage、KYC onboarding 或支付运营 AI 设计 release readiness gate、evidence checklist、dependency/risk dashboard、exception path 和 scale-readiness certificate。
- 系统学习要点: AI 交付保证不是增加会议, 而是把可发布、可扩展、可审计的证据组织成高管和风险团队都能挑战的 control tower。
- 设计评审问题: 你如何判断一个 AI 产品是真的 ready for release 或 ready for scale, 而不是只通过了 demo?
Extension Week 156: AI Product Operations / Operating Cadence / Outcome Review Architecture
- Papers/concepts: product operations、weekly ops review、monthly value review、quarterly portfolio review、metric contract、experiment registry、release calendar、decision log、assumption ledger、incident-to-roadmap loop。
- Diagrams to draw: production telemetry -> weekly operations review -> monthly outcome/value review -> quarterly portfolio decision -> roadmap/backlog/release calendar -> learning evidence.
- Code-lite experiment: 为 contact-center agent assist、complaint intelligence 或 collections hardship 设计 AI Product Ops cadence、metric contract、experiment/release calendar、incident learning loop 和 action closure tracker。
- 系统学习要点: AI 产品上线后才进入真正的运营期, 必须用节奏、证据和决策记录持续管理采用、风险、成本、质量和路线图。
- 设计评审问题: 你如何让一个 AI 产品上线后持续学习和改进, 而不是发布后只靠零散反馈?
Extension Week 157: AI Reference Implementation / Pattern Library / Reuse Assurance Architecture
- Papers/concepts: reference implementation、pattern library、reuse assurance、pattern maturity、reusable control evidence、eval baseline、threat model reuse、variant management、approved deviation、deprecation。
- Diagrams to draw: repeated use cases -> pattern taxonomy -> reference implementation -> reusable evidence pack -> adoption/deviation telemetry -> lifecycle/deprecation review.
- Code-lite experiment: 为 customer-facing RAG、internal policy copilot、tool gateway 或 evidence extraction assistant 设计 reference implementation anatomy、reuse qualification checklist、deviation log 和 reusable evidence binder。
- 系统学习要点: 复用不是复制代码, 而是把成功模式、控制、评测、威胁模型、证据和生命周期治理一起产品化。
- 设计评审问题: 你如何把多个相似 AI use case 沉淀成可复用 reference implementation, 同时避免复制风险?
Extension Week 158: AI Technology Radar / Scenario Planning / Strategic Foresight Architecture
- Papers/concepts: technology radar、scenario planning、strategic foresight、signal taxonomy、weak signals、watch/trial/adopt/hold、assumption ledger、trigger indicators、option portfolio、architecture runway。
- Diagrams to draw: external/internal signals -> radar quadrant -> scenario narratives -> assumption ledger -> trigger thresholds -> experiment backlog -> portfolio options -> executive narrative.
- Code-lite experiment: 为 agentic banking ops、genAI contact center、digital identity 或 payments fraud 设计 AI radar、scenario set、trigger indicators、option portfolio 和 architecture runway update memo。
- 系统学习要点: AI 战略前瞻不是追热点, 而是把不确定变化转成可观察信号、可测试选项、可逆决策和架构准备。
- 设计评审问题: 你如何判断一个新 AI 技术趋势应该 watch、trial、adopt 还是 hold?
Extension Week 159: AI Product Responsibility / Accountability Boundary Architecture
- Papers/concepts: product responsibility、accountability boundary、decision ownership、product promise inventory、recommendation/decision/execution boundary、human accountability、vendor/platform boundary、recourse、residual risk owner。
- Diagrams to draw: product promise -> AI recommendation -> human decision -> tool execution -> customer outcome -> recourse path -> evidence owner -> residual risk owner。
- Code-lite experiment: 为 credit underwriting recommendation、AML SAR escalation support、KYC decline/RFI 或 collections hardship treatment 设计 decision ownership map、product promise boundary 和 accountable evidence packet。
- 系统学习要点: AI 产品责任不是抽象伦理口号, 而是产品承诺、决策权、行动权、人工责任、供应商边界、客户救济和残余风险 owner 的架构。
- 设计评审问题: 你如何区分 AI 可以建议、可以决定、可以执行和必须升级人工的边界?
Extension Week 160: AI Context Supply Chain / Provenance / Poisoning Defense Architecture
- Papers/concepts: context supply chain、context asset taxonomy、source authority、provenance claim、context trust tier、retrieval-time policy、memory write policy、tool observation validation、context poisoning、indirect prompt injection、context quality SLO。
- Diagrams to draw: sources/prompts/policies/tools/memory -> ingestion/change control -> provenance/permission/quality gates -> retrieval/runtime assembly -> context trace -> incident response。
- Code-lite experiment: 为客服 policy RAG、AML typology knowledge、KYC evidence documents 或 regulatory reporting instructions 设计 context object schema、trust tier、poisoning defense checklist 和 runtime context trace。
- 系统学习要点: 企业 AI 的上下文不是临时拼接的文本, 而是一条需要来源、权限、质量、变更、攻击防御和事故响应的供应链。
- 设计评审问题: 你如何防止 RAG 文档或工具输出中的恶意/过期内容影响模型行为?
Extension Week 161: AI Agentic Process Audit / Workflow Replay / Assurance Architecture
- Papers/concepts: agentic process audit、replayable trace、event-sourced workflow、plan/action/observation/approval/output schema、audit query、sampling strategy、process conformance、justified exception、incident replay、independent challenge。
- Diagrams to draw: user intent -> plan -> tool/action -> observation -> approval -> output -> feedback/incident -> replayable evidence chain -> assurance review。
- Code-lite experiment: 为 AML investigation copilot、payment dispute assistant、KYC onboarding agent 或 payment repair queue agent 设计 event schema、audit query pack、workflow replay view 和 conformance sampling plan。
- 系统学习要点: Agentic AI 要能被审计, 不是因为所有行为都可完美复现, 而是因为关键意图、计划、行动、批准、输出、例外和证据链可被重放和质询。
- 设计评审问题: 你如何设计一个 agent workflow 的审计 trail, 让审计、风险和流程 owner 能看懂并挑战?
Extension Week 162: AI Organizational Memory / Knowledge Asset Governance Architecture
- Papers/concepts: organizational memory、knowledge asset taxonomy、decision memory、ADR memory、policy memory、case memory、customer preference memory、prohibited memory、retention/forgetting、citation、knowledge debt、institutional learning。
- Diagrams to draw: knowledge assets -> owner/version/provenance -> memory policy -> RAG/graph/memory integration -> citation/feedback -> retirement/forgetting -> learning review。
- Code-lite experiment: 为 contact center policy memory、AML typology memory、complaint RCA knowledge base、credit policy decisions 或 architecture decision repository 设计 memory taxonomy、owner matrix、retention/forgetting rule 和 knowledge debt dashboard。
- 系统学习要点: AI 组织记忆不是“把所有东西存进向量库”, 而是决定什么可记、可忘、可引用、可挑战、可复用、可退役的知识资产治理。
- 设计评审问题: 你如何治理 AI 系统的长期记忆, 避免过期知识、隐私风险、错误复用和组织失忆?
Extension Week 163: AI Eval Dataset Lifecycle / Golden Set / Test Data Factory Architecture
- Papers/concepts: eval dataset lifecycle、golden set、challenge set、adversarial set、synthetic/real case split、label governance、coverage matrix、coverage drift、promotion gate、regression evidence。
- Diagrams to draw: source cases -> privacy/filtering -> label/SME review -> coverage matrix -> dataset version -> eval run -> release gate -> audit evidence -> refresh trigger。
- Code-lite experiment: 为 KYC onboarding、AML investigation、credit policy RAG、payment dispute 或 contact center agent assist 设计 eval dataset inventory、golden/challenge set、label quality rule 和 regression evidence packet。
- 系统学习要点: Eval 数据集是生产控制资产, 不是测试附件;它决定 AI 产品如何证明可用、如何发现回归、如何支撑 release 和审计问题。
- 设计评审问题: 你如何治理 AI golden set, 避免样本过期、标签漂移、覆盖盲区和测试数据泄露?
Extension Week 164: AI Synthetic User Simulation / Persona Scenario Lab Architecture
- Papers/concepts: synthetic user simulation、persona registry、scenario lab、journey simulation、behavioral assumption log、edge-case injection、simulator calibration、simulation evidence、synthetic data limits。
- Diagrams to draw: personas/scenarios -> simulator prompt/policy -> journey run -> tool/RAG interaction -> telemetry -> assumption validation -> release evidence -> recalibration loop。
- Code-lite experiment: 为开户/KYC、APP scam intervention、collections hardship、complaints copilot 或 wealth suitability assistant 设计 persona registry、scenario card、journey simulation run 和 assumption log。
- 系统学习要点: Synthetic user lab 不是替代真实用户研究, 而是把产品假设、边界场景、行为风险和架构路径提前暴露并形成证据。
- 设计评审问题: 你如何判断 synthetic user simulation 的证据足够支持产品决策, 但又不被误用成真实客户验证?
Extension Week 165: AI Human Factors Operations / Cognitive Load / Automation Bias Architecture
- Papers/concepts: human factors operations、operator burden、cognitive load、review fatigue、automation bias、calibrated trust、escalation design、QA sampling、skill routing、second-line challenge、control evidence。
- Diagrams to draw: AI recommendation -> operator review -> confidence/friction signal -> escalation -> QA sampling -> calibration meeting -> training/control update -> evidence trail。
- Code-lite experiment: 为 AML investigator copilot、credit underwriter assist、fraud intervention、complaints classification 或 contact center agent assist 设计 operator load map、automation bias control matrix 和 QA sampling plan。
- 系统学习要点: 人因不是界面美化, 而是把人工判断作为稀缺生产控制资源来设计、路由、校准和审计。
- 设计评审问题: 你如何防止 AI copilot 让审核员过度信任模型, 同时又不把流程拖慢到不可用?
Extension Week 166: AI Procurement Intake / Vendor Evaluation Sandbox / Build-Buy Architecture
- Papers/concepts: AI procurement intake、use-case triage、vendor sandbox、eval contract、benchmark plan、build-buy-partner decision、architecture fit、concentration risk、exit constraint、production gate。
- Diagrams to draw: business pain/vendor pitch -> intake triage -> sandbox benchmark -> risk/security/privacy review -> build-buy decision record -> contract/evidence gate -> production promotion。
- Code-lite experiment: 为 GenAI contact center、KYC document intelligence、AML investigation workbench、credit decision support 或 payments fraud intervention 设计 procurement intake、vendor sandbox scorecard、benchmark plan 和 build-buy decision record。
- 系统学习要点: AI 采购入口是架构控制点;它把 vendor demo、业务痛点、风险审查、benchmark、成本和生产门禁变成可比较的决策证据。
- 设计评审问题: 你如何判断一个 AI 能力应该自研、采购、合作还是暂缓, 并让这个判断经得起风险和架构评审?
Extension Week 167: AI Reasoning Budget / Test-Time Compute / Verifier Cascade Architecture
- Papers/concepts: reasoning budget、test-time compute、deliberation policy、task complexity rubric、planner-solver-checker loop、verifier cascade、rationale exposure rule、cost-latency-risk tradeoff。
- Diagrams to draw: user task -> complexity/risk classifier -> budget policy -> model/decomposition path -> verifier cascade -> abstain/escalate/answer -> evidence trace。
- Code-lite experiment: 为 AML case narrative、credit policy reasoning、payment dispute explanation、complaint RCA 或 contact center policy QA 设计 reasoning budget policy、verifier cascade 和 evidence packet。
- 系统学习要点: 高阶 AI 产品不能把所有请求都走同一推理路径;推理预算要像授信额度一样按风险、复杂度、成本和证据要求被治理。
- 设计评审问题: 你如何决定一个 AI 请求应该用快速回答、多步推理、验证级联还是直接升级人工?
Extension Week 168: AI Model Portfolio Benchmarking / Capability Scorecard / Selection Governance Architecture
- Papers/concepts: model portfolio inventory、capability taxonomy、model scorecard、domain benchmark、safety benchmark、latency/cost/quality/security score、champion-challenger、selection council、retirement trigger。
- Diagrams to draw: task taxonomy -> model candidates -> benchmark pack -> capability scorecard -> risk tier -> selection record -> runtime monitoring -> challenger/retirement review。
- Code-lite experiment: 为 contact center、AML triage、KYC document extraction、credit policy RAG、payments fraud 或 enterprise knowledge assistant 设计 model portfolio scorecard 和 selection decision record。
- 系统学习要点: 模型选型不是一次性 vendor comparison, 而是持续组合治理:能力、风险、成本、证据、替换和退役都要可解释。
- 设计评审问题: 你如何设计一个模型组合治理机制, 让团队不会被单一模型、单一供应商或单一榜单绑架?
Extension Week 169: AI Uncertainty UX / Abstention / Confidence / Escalation Architecture
- Papers/concepts: uncertainty UX、abstention taxonomy、confidence language、safe refusal、partial answer、request-more-info、human escalation、trust calibration、customer harm prevention、regulated communication evidence。
- Diagrams to draw: model evidence/confidence -> uncertainty class -> UX response pattern -> escalation/clarification/refusal -> customer communication -> telemetry/complaint feedback -> policy update。
- Code-lite experiment: 为 credit eligibility、wealth advice boundary、payment dispute claims、KYC extraction、AML analyst assistant 或 complaints copilot 设计 abstention matrix、confidence language guide 和 escalation policy。
- 系统学习要点: 不确定性不是一个分数, 而是一套决定何时回答、何时少答、何时拒答、何时要更多信息、何时升级人工的产品架构。
- 设计评审问题: 你如何让 AI 表达不确定性既不误导客户, 又不把体验做成到处拒答?
Extension Week 170: AI Risk Quantification / Scenario Loss / Control ROI Architecture
- Papers/concepts: AI risk scenario、scenario loss、severity/frequency assumption、expected loss range、control effectiveness、residual risk、control ROI、risk appetite threshold、management action、decision evidence。
- Diagrams to draw: risk scenario -> impact pathway -> frequency/severity estimate -> controls -> residual risk -> control cost/benefit -> management action -> monitoring evidence。
- Code-lite experiment: 为 regulated advice hallucination、AML missed escalation、payment fraud false negative、KYC wrongful rejection、contact center misinformation 或 vendor outage 设计 scenario register、loss range 和 control ROI pack。
- 系统学习要点: AI 风险治理要能进入投资和架构取舍;把风险只写成 high/medium/low 会让高管无法判断该投入多少控制。
- 设计评审问题: 你如何把一个 AI 风险从 qualitative concern 转成可讨论的损失区间、控制 ROI 和管理决策?
Extension Week 171: AI Evidence Integrity / Tamper-Evident Audit Ledger / Attestation Architecture
- Papers/concepts: evidence object、hash chain、Merkle proof、append-only ledger、attestation claim、provenance、segregation of evidence writer/approver、legal hold、redaction、audit query。
- Diagrams to draw: runtime event -> evidence object -> hash/signature -> ledger append -> attestation chain -> legal hold/redaction -> audit query -> replay packet。
- Code-lite experiment: 为 AML SAR recommendation、KYC decline、credit policy advice、payment dispute 或 customer communication 设计 evidence object schema、attestation matrix 和 tamper-evidence test。
- 系统学习要点: AI 证据不是普通日志;在监管、审计、争议和事故场景里, 证据必须能证明“谁在何时基于哪个版本做了什么, 且之后没有被悄悄改写”。
- 设计评审问题: 你如何设计 AI 审计证据, 让它既可复盘又能证明未被篡改?
Extension Week 172: AI Shadow Mode / Counterfactual Evaluation / Silent Launch Architecture
- Papers/concepts: shadow mode、silent launch、counterfactual event、champion/challenger without customer impact、outcome delay、label plan、leakage control、fairness monitoring、rollout gate、rollback trigger。
- Diagrams to draw: live decision context -> production decision -> shadow AI decision -> counterfactual log -> delayed label/outcome -> segment/fairness analysis -> rollout gate -> ramp/rollback。
- Code-lite experiment: 为 credit line management、AML alert triage、KYC onboarding、payment fraud intervention 或 collections contact strategy 设计 shadow mode event schema、leakage controls 和 rollout gate。
- 系统学习要点: Shadow mode 不是灰度发布的轻量版本, 而是在不改变客户和员工行为的前提下验证 AI 决策是否能进入生产责任边界。
- 设计评审问题: 你如何用 shadow mode 证明一个 AI 决策系统可以上线, 同时避免数据泄漏、标签偏差和假安全感?
Extension Week 173: AI Synthetic Data Governance / Privacy-Utility-Fidelity Architecture
- Papers/concepts: synthetic data governance、source permission、generator risk、privacy attack testing、membership inference、model inversion、utility score、fidelity score、bias amplification、allowed-use license、provenance watermark。
- Diagrams to draw: source data -> permission/privacy review -> generator -> privacy attack tests -> utility/fidelity/bias review -> allowed-use license -> release gate -> monitoring/retirement。
- Code-lite experiment: 为 AML typology training、KYC document testing、credit scenario augmentation、payment fraud simulation 或 contact center transcript generation 设计 synthetic data intake、privacy attack checklist 和 utility/fidelity scorecard。
- 系统学习要点: 合成数据不是自动匿名化;它是一种需要来源权限、隐私攻击测试、效用证明、偏差复核和用途边界的数据产品。
- 设计评审问题: 你如何判断一批 synthetic data 可以用于 AI 评测、训练或演示, 而不会泄露客户隐私或放大偏差?
Extension Week 174: AI Three Lines Governance / Decision Rights / Assurance Operating Model Architecture
- Papers/concepts: three lines model、first-line ownership、second-line challenge、third-line assurance、decision rights、lifecycle gate、evidence forum、control owner、issue/action log、escalation path、architecture governance。
- Diagrams to draw: AI lifecycle gates -> first-line product/ops decisions -> second-line risk challenge -> third-line audit assurance -> evidence forum -> issue/action closure -> board/management MI。
- Code-lite experiment: 为 GenAI contact center、AML copilot、credit decision support、KYC onboarding、vendor AI model 或 enterprise knowledge assistant 设计 three-lines role map、decision-rights matrix 和 assurance packet。
- 系统学习要点: 成熟 AI 治理不是“多开委员会”, 而是把责任、挑战、保证、证据和问题整改嵌入生命周期门禁和日常运营节奏。
- 设计评审问题: 你如何设计 AI 三道防线治理, 让一线能交付、二线能挑战、三线能保证, 同时不把产品迭代拖死?
AI system architecture mental models
1. Model
Model 是能力引擎,不是完整产品;描述模型时要说明模型类型、上下文长度、模态、成本、延迟、部署方式和数据使用政策。 模型选择应由任务、风险、成本、延迟和可治理性共同决定。
2. Context
Context 是模型当前可见的信息边界,包括用户问题、系统指令、业务对象、历史对话、检索文档、工具结果和策略约束。 Context engineering 是 AI 架构的核心工作。
3. Memory
Memory 是跨会话、跨任务保留信息的机制,可以在数据库、向量库、用户画像、知识图谱或事件日志中。 必须区分“模型参数记住了”和“系统记忆存储了”。
4. Tools
Tools 让模型从文本生成走向真实操作,包括搜索、数据库查询、计算器、风控规则、工单系统、支付接口或代码执行器。 每个工具都需要 schema、权限、超时、重试、审计和错误处理。
5. Retrieval
Retrieval 决定模型能否获得正确外部知识,需要处理数据摄取、切块、索引、权限、召回、排序、引用和更新。 很多 RAG 问题不是模型问题,而是检索和知识治理问题。
6. Eval
Eval 是 AI 系统的质量仪表盘,覆盖任务成功、事实一致性、格式合规、引用正确、安全风险、成本和延迟。 Eval 集需要版本化,避免每次改 prompt 都靠主观感觉。
7. Guardrails
Guardrails 是运行时控制,不是单条提示词,包括输入过滤、输出检测、敏感动作确认、权限检查、策略引擎、红队测试和人工升级。 高风险行业必须把 guardrails 设计成架构组件。
8. Observability
AI observability 要记录 prompt、retrieved context、tool call、model version、latency、cost、error、judge score 和 human feedback。 没有 trace,就无法复盘幻觉、错误检索、工具失败或成本异常。
9. HITL
Human-in-the-loop 是风险控制和持续学习机制,应根据风险分层触发: 低风险自动执行,中风险抽检,高风险强制确认。 HITL 反馈应该进入 eval、知识库和流程改进。
Common misunderstandings and corrections
- 误解: 大模型理解业务,所以可以直接上线。纠正: 生产系统还需要权限、流程、评估和治理。
- 误解: RAG 可以解决所有幻觉。纠正: RAG 主要降低知识缺失导致的幻觉,不能自动解决推理错误、检索错误和指令冲突。
- 误解: 上下文越长越好。纠正: 长上下文增加成本和延迟,也可能引入噪声和注意力稀释。
- 误解: Fine-tuning 可以把公司知识灌进模型。纠正: 高频变化的事实知识更适合 RAG。
- 误解: Agent 就是多轮聊天。纠正: Agent 是带工具、状态、计划、观察和执行控制的系统。
- 误解: CoT 输出越长越可靠。纠正: 长推理链可能提升复杂任务,也可能制造看似合理的错误解释。
- 误解: LLM-as-Judge 可以替代人类评审。纠正: 模型裁判必须用人类校准、抽检和偏差分析约束。
- 误解: 模型榜单第一,产品效果就最好。纠正: 产品效果还取决于任务匹配、延迟、成本、上下文、工具、评估和安全。
- 误解: Prompt engineering 是一次性文案工作。纠正: Prompt 是可测试、可版本化、可回归的系统配置。
- 误解: AI 安全就是过滤敏感词。纠正: AI 安全包括数据权限、注入攻击、防越权、工具安全、审计和人工升级。
- 误解: 模型输出带引用就一定可信。纠正: 引用可能错配、遗漏或被模型误用。
- 误解: 业务专家只需要给需求,不需要参与 eval。纠正: 业务专家必须定义 gold cases、评分标准、风险边界和升级规则。
Output artifacts
- Paper notes: 每篇论文一份 2-4 页中文解读,包含问题、方法、贡献、限制和产品映射。
- Concept diagrams: Transformer block、RAG pipeline、Agent loop、Eval loop、推理优化图。
- Architecture ADRs: 对 RAG、fine-tuning、agent tools、eval、guardrails、model routing 的决策记录。
- Eval examples: 至少 100 条任务样本,覆盖正常、边界、冲突、缺失、风险和安全场景。
- Explain-like-CTO scripts: 每个核心概念准备 3 分钟 CTO 解释稿。
- Interview answer bank: 每周至少沉淀 5 个技术产品混合评审题答案。
- Glossary: 建立 AI 架构术语表,包含 token、embedding、attention、RAG、agent、eval、guardrails。
- Decision trees: prompt vs RAG vs fine-tuning、small model vs large model、automation vs HITL。
- Risk register: 记录 hallucination、prompt injection、data leakage、tool misuse、model drift 等风险。
- Portfolio case study: 选择一个金融零售 AI 场景,做端到端架构说明和评估方案。
60 deep questions for future study
- Tokenization 如何影响中文、代码、表格和合同类文档的理解质量?
- 为什么 next-token prediction 能学习到世界知识和推理模式?
- Attention score 能否被当作模型解释性证据,边界在哪里?
- Multi-head attention 中不同 head 的功能是否稳定可解释?
- 长上下文模型为什么仍然需要 RAG?
- RAG 中 chunk size 应该如何根据业务文档类型决定?
- Metadata filtering 和 semantic search 如何组合才能减少权限穿透?
- Reranker 在企业 RAG 中通常解决什么问题?
- 如何判断一个 RAG 答案是检索失败还是生成失败?
- 为什么引用正确性需要单独评估?
- GPT-style decoder-only 模型为什么适合通用生成任务?
- BERT-style encoder 模型在 LLM 时代还有哪些不可替代场景?
- Instruction tuning 改变了模型的什么能力?
- RLHF 会不会让模型过度迎合用户?
- Constitutional AI 中的“原则”如何映射到企业政策?
- DPO 和 RLHF 在产品团队视角下有什么实际差异?
- Chain-of-Thought 是否应该展示给最终用户?
- Self-Consistency 的成本和准确率如何取舍?
- LLM-as-Judge 如何避免偏向长答案、流畅答案或同厂模型?
- Eval 数据集如何防止被 prompt 或模型过拟合?
- 一个企业 AI Copilot 的最小可用 eval 集应该包含什么?
- Agent 什么时候应该停止继续尝试?
- 工具调用失败时,模型应该重试、解释、升级还是回滚?
- 如何给 Agent 设计最小权限原则?
- 什么类型的业务动作必须 HITL?
- 如何把人工反馈转成下一轮系统改进?
- Fine-tuning 和 RAG 的混合方案适合哪些场景?
- LoRA 的低秩假设在业务适配中意味着什么?
- 小模型加好工作流能否替代大模型?
- Model routing 应该按任务、风险、成本还是用户等级决定?
- KV Cache 为什么能显著改善多轮对话性能?
- Speculative decoding 对输出质量有没有影响?
- FlashAttention 为什么是 IO-aware 而不仅是数学优化?
- MoE 模型的专家路由是否会带来稳定性问题?
- 长上下文、RAG、fine-tuning 三者如何组合?
- 如何估算 AI 功能的单位经济模型?
- 首 token 延迟和总完成时间哪个更影响用户体验?
- Streaming 会掩盖还是改善真实延迟问题?
- Prompt injection 和传统 SQL injection 的相似与不同是什么?
- 如何防止检索文档中的恶意指令影响模型?
- 企业知识库中的过期文档如何影响 RAG?
- 数据权限应该在检索前过滤还是生成后过滤?
- AI observability 应该记录哪些字段才足够复盘事故?
- 模型升级时应该如何做灰度和回滚?
- 如何设计“不能回答”的产品体验?
- 何时应该让模型给置信度,何时不应该?
- 模型的置信表达和真实正确率之间如何校准?
- 多 Agent 架构是否真的优于单 Agent 加工具?
- Agent planning 的中间状态应该对用户透明吗?
- AI 系统中的 memory 如何避免隐私和合规风险?
- 如何区分用户偏好、业务事实和长期记忆?
- 金融零售场景中 AI 推荐和合规建议的边界在哪里?
- 如何为 AI 生成的业务需求文档设计验收标准?
- AI BA 工具如何处理流程异常和例外规则?
- AI 架构 ADR 应该记录哪些模型和治理决策?
- 如何向 CTO 解释“模型能力”和“系统可靠性”的差距?
- 如何判断一个 AI 项目应该先做内部效率还是客户体验?
- 如何把红队测试常态化进产品迭代?
- AI 产品的北极星指标应该如何避免只看调用量?
- 当模型、数据、流程三者都可能出错时,如何定位根因?
Reading note structure for every paper
每篇论文不要只摘录标题、作者和结论,而要把它还原成一条完整的技术演化链:旧方法为什么不够,论文引入了什么机制,证据如何支撑结论,今天的系统架构应该如何吸收或限制这套机制。
论文身份与核心结论
- Paper / Authors / Year / Link: 记录原始来源,避免二手解读污染。
- 领域标签: 标注它属于模型架构、检索、Agent、评估、对齐、工程系统、治理或业务决策。
- 核心结论: 用一段话说明这篇论文真正改变了什么,而不是压缩成口号。
问题结构
- 论文之前的主流做法是什么,以及旧方法在哪个约束上失败。
- 作者真正优化的是准确率、泛化、可扩展性、推理效率、可控性、交互能力还是证据质量。
- 这个问题在今天的 AI 产品中对应什么系统痛点,例如上下文缺失、工具越权、评估不可复现、成本不可控或人工复核负载过高。
机制拆解
- 输入、输出、核心架构和训练/优化目标分别是什么。
- 关键机制如何工作:信息如何流动,状态如何保存,反馈如何进入下一轮,约束如何生效。
- 与前一代方法相比,论文到底改变了表示方式、搜索方式、优化方式、控制方式还是系统边界。
图解与架构映射
- 重画最关键的机制图,并把图中的模型组件映射到生产系统组件。
- 说明它如何影响 RAG、Agent、Copilot、EvalOps、模型路由、权限、观测或人类审核。
- 把“论文图”翻译成“系统图”:输入对象、决策点、动作对象、反馈对象、控制点和证据对象。
实验、证据与可迁移性
- 作者用什么 benchmark、指标和消融实验证明有效。
- 实验是否真的支撑作者结论,还是只证明了特定数据集、规模或任务上的收益。
- 今天落地时哪些证据需要重新建立,例如 eval set、runtime trace、业务结果、风险事件、人工复核一致性或成本曲线。
局限与控制边界
- 论文承认的局限、今天工程落地的局限,以及对成本、延迟、数据、安全、可解释性和责任边界的影响。
- 哪些场景不应直接自动化,必须降级为建议、草稿、排序、分流或人工复核。
- 需要哪些 data contract、policy gate、guardrails、HITL、audit trail 或 kill switch 才能进入生产。
输出工件
- 一页纸论文解读:问题、机制、证据、局限和系统价值。
- 一张架构图:把论文机制映射到企业 AI 系统组件。
- 一个业务场景案例:优先使用 AML、KYC、支付、信贷、客服、合规或运营流程。
- 一个 eval 样本:把论文能力转成可测试、可复现、可回归的样本。
- 一个 ADR 草稿:记录采用、暂缓或拒绝该方法的条件、证据和反转触发器。