AI 底层逻辑与经典论文计划
本计划面向 PM、BA、业务架构师、解决方案架构师和技术型产品负责人。
AI 底层逻辑与经典论文解读计划
精读入口:
docs/ai-foundations/README.md第一批论文解读:Transformer、RAG、ReAct/Toolformer、InstructGPT/RLHF。 第二批论文解读:CoT/Self-Consistency、LoRA/PEFT、推理优化、LLM-as-Judge/Evals。 第三批论文解读:MoE/Sparse Scaling、Scaling Laws/BERT/GPT/T5 预训练范式。 第四批论文解读:DPO/Constitutional AI/Preference Optimization、Tool Use Security/Prompt Injection。 第五批论文解读:RAG Evaluation/RAGAS/Retrieval Metrics、GraphRAG/Knowledge Graph RAG。 第六批论文解读:Generative Agents/Memory/Reflection/Planning、AutoGen/Multi-Agent Orchestration。 第七批论文解读:Tree of Thoughts/Planning Search、Self-RAG/CRAG/Agentic Retrieval、AgentBench/τ-bench、Mechanistic Interpretability/SAE。 第八批论文解读:Long Context/Lost in the Middle/RULER、DSPy/OPRO/Automatic Prompt Optimization、Reflexion/Self-Refine、Process Supervision/Step-by-Step Verification。 第九批论文解读:Structured Output/Constrained Decoding、Model Routing/Semantic Cache、SWE-bench/WebArena/OSWorld、Mamba/State Space Models。 第十批论文解读:Embeddings/ANN/Vector Search、CLIP/Multimodal Embeddings、Diffusion/Latent Diffusion、Graph Neural Networks/GNN。 第十一批论文解读:Recommender Systems、Learning to Rank/LambdaMART、Feature Stores/Real-Time ML、Zanzibar/Cedar/OPA Authorization。 第十二批论文解读:Federated Learning/FedAvg、Differential Privacy/DP-SGD、Knowledge Distillation/Small Models、Durable Execution/Agent Workflow。 第十三批论文解读:Digital Twin/Simulation、Online Experimentation/CUPED、Data Lineage/Contracts、AI Security Operations。 第十四批论文解读:Time-Series Forecasting、Anomaly Detection、Causal Discovery、Optimization / Operations Research。 第十五批论文解读:Contextual Bandits、Offline Reinforcement Learning、Bayesian Optimization、Calibration / Conformal Prediction。 第十六批论文解读:Data-Centric AI / Snorkel、Active Learning / HITL、Dataset Shift / Drift Monitoring、AI Management System / ISO 42001。 第十七批论文解读:Hidden Technical Debt in ML Systems、CD4ML / MLOps、Human-AI Interaction Guidelines、AI Architecture Decision Records。 第十八批论文解读:AI Requirements Engineering / GQM、AI Quality Attributes / ATAM、AI Safety Engineering / STPA、Sociotechnical AI / Resilience。 第十九批论文解读:AI Capability-Based Planning、Wardley Mapping、Conway's Law / Team Topologies、DORA / SPACE for AI SDLC。 第二十批论文解读:Continuous Discovery / Opportunity Solution Tree、Jobs-to-be-Done / ODI、North Star Metrics / AI Value Measurement、AI Product Operating Model / Empowered Teams。 第二十一批论文解读:AI Portfolio Management / Funding Governance、AI Service Blueprint / Customer Journey / Trust、AI Business Process Reengineering / BPMN / DMN、AI Risk Appetite / Policy Product Management。 第二十二批论文解读:Enterprise AI Reference Architecture / Control Plane、AI Product Line Engineering / Reusable Platform Assets、AI Maturity Model / Roadmap / Capability Assessment、AI Control Library / Assurance Evidence Graph。 第二十三批论文解读:AI Domain-Driven Design / Ubiquitous Language、AI EventStorming / Agent Workflow Discovery、AI Knowledge Work Redesign / Role-Task Architecture、AI Platform Service Catalog / Golden Paths。 第二十四批论文解读:AI Architecture Views / C4 / arc42 / 42010、AI Architecture Fitness Functions / Continuous Governance、Contract-First AI Tool/API Design、AI Traceability Graph。 第二十五批论文解读:AI Enterprise Architecture / TOGAF / ArchiMate / ADM、Banking AI Reference Models / BIAN / FIBO / ISO 20022、AI Semantic Interoperability / RDF / OWL / SHACL、AI Value Stream Management / Flow Metrics。 第二十六批论文解读:AI Regulatory Architecture / EU AI Act / NIST / ISO42001、AI Model Risk Validation / Independent Challenge、AI Third-Party Vendor Contract / Exit Architecture、AI Data Lifecycle Governance / Provenance / Retention。 第二十七批论文解读:AI Agent Autonomy / Delegation Architecture、AI Agent Identity / Delegated Authorization、AI Runtime Evidence / Observability Architecture、AI Portfolio Systemic Risk / Dependency Architecture。 第二十八批论文解读:AI Customer Harm / Redress / Recovery Architecture、AI Fairness / Fair Lending / Bias Control Architecture、AI Explainability / Contestability / Adverse Action Architecture、AI Change Impact / Release Governance。 第二十九批论文解读:AI Continuous Control Monitoring / Assurance Architecture、AI Operational Resilience / BCP / Degraded Mode Architecture、AI Management Information / Board Reporting Architecture、AI Closed-Loop Learning / Corrective Action Architecture。 第三十批论文解读:AI Regulatory Horizon / Obligation Intelligence Architecture、AI Exception / Risk Acceptance / Waiver Architecture、AI Supply Chain / AI BOM / Provenance Architecture、AI Human Review Operations / Capacity Architecture。 第三十一批论文解读:AI Segregation of Duties / Dual Control Architecture、AI Consent / Preference / Purpose-Bound Data Architecture、AI Shadow AI / Citizen Development Governance Architecture、AI Conduct Risk / Suitability / Sales Guardrails Architecture。 第三十二批论文解读:AI Records / Retention / Legal Hold / eDiscovery Architecture、AI Data Residency / Cross-Border / Sovereign AI Architecture、AI Customer Communications / Regulated Content Lifecycle Architecture、AI Financial Crime Typology / Scenario Coverage Architecture。 第三十三批论文解读:AI Intellectual Property / Content Rights / Provenance Architecture、AI Deepfake / Synthetic Identity / Authentication Fraud Architecture、AI Workforce / HR Decision / Employee Monitoring Governance Architecture、AI Incident Disclosure / Liability / Risk Transfer Architecture。 第三十四批论文解读:AI Post-Quantum / Cryptographic Agility Architecture、AI Authorized Push Payment / Scam Intervention Architecture、AI Agent Marketplace / Tool Certification Governance Architecture、AI Customer Vulnerability / Accessibility / Inclusive AI Architecture。 第三十五批论文解读:AI Payment Dispute / Chargeback / Claims Evidence Architecture、AI Collections / Hardship / Delinquency Treatment Architecture、AI Voice AI / Contact Center / Agent Assist Governance Architecture、AI Digital Identity Wallet / Verifiable Credentials / Trust Architecture。 第三十六批论文解读:AI Open Banking / Open Finance / Consented Data Sharing Architecture、AI Personalized Pricing / Offer Decisioning Governance Architecture、AI Document Intelligence / Unstructured Data / Evidence Quality Architecture、AI Privacy Clean Room / Data Collaboration / Measurement Architecture。 第三十七批论文解读:AI Credit Lifecycle / Underwriting / Line Management Governance Architecture、AI Wealth Advice / Robo-Advisor / Best Interest Boundary Architecture、AI Treasury / Liquidity / ALM Forecasting / Stress Evidence Architecture、AI Complaint Intelligence / Root Cause / Regulatory Response Architecture。
定位: PM/BA/架构师为什么必须学 AI 底层逻辑
本计划面向 PM、BA、业务架构师、解决方案架构师和技术型产品负责人。 目标不是培养全职 ML Researcher,而是让你能和算法工程师、平台工程师、数据工程师、安全架构师、业务负责人讨论同一套问题。 AI 产品的核心不是“接一个模型 API”,而是把模型、上下文、数据、工具、流程、评估、安全和人类审核组织成可靠系统。 PM 学 AI 底层逻辑,是为了定义可交付的产品边界、识别伪需求、判断模型能力是否足够支撑体验承诺。 BA 学 AI 底层逻辑,是为了把业务流程、规则、异常、术语和知识资产转成模型可用的上下文与评估样本。 架构师学 AI 底层逻辑,是为了设计成本、性能、可观测性、安全、扩展性和治理机制。 如果不懂 Transformer、RAG、Agent、Eval、微调、推理优化和安全边界,就很容易把 AI 项目做成演示,而不是生产系统。 演示可以回答一个问题;生产系统必须稳定地处理一类问题,并且在失败时可定位、可回滚、可升级。 学习深度标准是: 能画图、能解释、能质疑、能做取舍、能写 ADR,而不是背公式或追热点名词。 完成本计划后,你应该能读懂经典论文的核心问题、方法、贡献和局限。 你应该能把模型能力映射到业务流程中的输入、决策、动作、反馈和风险控制。 你应该能和工程团队讨论 RAG、Agent、Copilot、Eval、Latency、Cost、Security 的架构方案。 你应该知道什么时候应该 prompt、什么时候应该 RAG、什么时候应该 fine-tune、什么时候应该改流程。 你应该能在面试或方案评审中,用 CTO 能接受的语言解释 AI 系统设计。
学习边界: 必须懂 / 可以了解 / 暂不深挖
必须懂
- Tokenization: 文本如何被切成模型可处理的 token,以及 token 如何影响上下文、成本和延迟。
- Embedding: token 如何变成向量表示,以及为什么语义检索也依赖 embedding。
- Positional Encoding: 模型如何知道顺序,以及长上下文为什么仍然有位置理解难题。
- Q/K/V Attention: query、key、value 如何构成一次可学习的信息检索。
- Attention score: 点积、缩放、softmax、加权汇聚的直觉。
- Multi-head attention: 多个注意力头如何学习不同关系模式。
- Feed-forward network: 每层如何对 token 表示做非线性加工。
- Residual connection: 深层网络为什么需要学习增量变化。
- Layer norm: 为什么训练和推理需要稳定化。
- Encoder-only、decoder-only、encoder-decoder 的差异。
- Causal language modeling: GPT 类模型为什么用 next-token prediction。
- Masked language modeling: BERT 类模型为什么适合理解、分类、排序。
- Instruction tuning: 为什么基础模型需要指令对齐。
- RLHF / preference optimization: 为什么需要人类偏好和奖励模型。
- RAG: 检索增强生成的链路、边界和失败模式。
- Agent: 模型如何通过工具、状态和循环完成任务。
- Eval: 为什么没有评估就没有可管理的 AI 产品。
- Prompting、RAG、fine-tuning、LoRA 的适用边界。
- KV Cache、batching、streaming、speculative decoding 对延迟和成本的影响。
- Guardrails、权限、审计、HITL 对生产可控性的影响。
可以了解
- 反向传播、梯度下降、cross entropy、perplexity 的直觉。
- Logits、temperature、top-k、top-p 对生成稳定性和创造性的影响。
- Scaling law 的基本含义: 数据、参数、算力如何共同影响能力。
- MoE 的路由、专家、容量因子和负载均衡。
- FlashAttention 的 IO-aware 思路,而不是 CUDA 细节。
- Embedding model、reranker、cross-encoder、bi-encoder 的差异。
- Vector database、全文检索、知识图谱、传统数据库的组合方式。
- DPO、RLAIF、Constitutional AI 的对齐方法差异。
- 多模态模型如何把图像、文本、音频映射到统一表示空间。
- AI observability 中 trace、span、prompt、retrieval、tool call、cost 的记录方式。
暂不深挖
- Transformer 的完整矩阵求导。
- CUDA kernel、分布式训练、ZeRO、FSDP、tensor parallel 的底层实现。
- 强化学习算法的完整数学推导。
- 大规模预训练数据清洗流水线的所有细节。
- 模型压缩、量化、蒸馏的底层数值优化。
- MoE routing loss 和复杂 benchmark 统计显著性的完整证明。
经典论文阅读路线
第一组: Transformer 与预训练范式
- Attention Is All You Need: 理解 Transformer 为什么替代 RNN/CNN 成为通用序列建模骨架。
- BERT: Pre-training of Deep Bidirectional Transformers: 理解 encoder-only、MLM、双向上下文和理解类任务。
- GPT-style decoder-only language modeling: 理解 causal LM、next-token prediction、自回归生成和 scaling。
- Language Models are Few-Shot Learners: 理解 in-context learning、few-shot prompt 和规模效应。
- T5 / text-to-text framing: 理解把多种 NLP 任务统一成文本到文本问题的产品价值。
第二组: 指令、对齐和推理
- InstructGPT / RLHF: 理解从“会续写”到“会听指令”的关键转变。
- Chain-of-Thought Prompting: 理解显式中间推理步骤的收益、成本和幻觉风险。
- Self-Consistency: 理解多路径采样和投票如何提升复杂推理可靠性。
- Constitutional AI: 理解用原则、批评和修订替代部分人工偏好标注。
- LLM as Judge / eval: 理解用模型辅助评估输出质量的机会、偏差和治理要求。
第三组: 检索、工具和 Agent
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: 理解 RAG 的论文原型。
- ReAct: Synergizing Reasoning and Acting: 理解 reasoning trace 与 tool action 交替循环。
- Toolformer: 理解模型如何学习何时调用工具。
- MRKL / tool-augmented LLM: 理解模型与外部专家系统组合。
- WebGPT / browsing agents: 理解浏览、引用、检索和生成之间的产品结构。
第四组: 高效适配和系统优化
- LoRA: Low-Rank Adaptation of Large Language Models: 理解低成本参数高效微调。
- Mixture of Experts: 从 Sparsely-Gated MoE 到 Switch Transformer、Mixtral,理解稀疏激活。
- FlashAttention: 理解注意力计算的 IO 瓶颈与训练、推理加速。
- KV Cache: 理解自回归推理为什么可以缓存历史 key/value。
- Speculative Decoding: 理解小模型草稿和大模型验证如何降低延迟。
- Quantization / distillation overview: 理解部署成本、质量和硬件之间的折中。
第五组: 生产系统与评估
- HELM / holistic evaluation: 理解多维度模型评估。
- MT-Bench / Chatbot Arena: 理解偏好评测、模型裁判和人类偏好排名。
- G-Eval / LLM-as-a-Judge: 理解生成式任务如何被结构化评分。
- RAGAS / retrieval eval: 理解 context precision、faithfulness、answer relevancy。
- Agent eval: 理解任务成功率、工具调用正确率、恢复能力、成本和安全约束。
Transformer 原理深度解读
1. Tokenization
模型不能直接处理字符串,tokenizer 会把文本切成 token;token 可以是字符、子词、词片段、标点或常见组合。 Tokenization 决定模型看到世界的最小单位,也影响上下文长度、成本、中文处理、代码处理和专有名词处理。 PM 要知道同样 10 页文档,不同语言和格式的 token 成本可能不同;BA 要知道表格、合同、日志、流程编号切分很差时会影响理解;架构师要知道 token 是成本、延迟和上下文容量的基础计量单位。
2. Embedding
Embedding 把 token id 映射成高维向量,这些向量是在训练中学出来的统计表示。 相似语义、语法或上下文中的 token 会形成可计算关系,后续 attention 基于这些表示继续加工。 产品架构中的向量检索也使用 embedding,但生成模型内部 embedding 和向量库 embedding 不一定是同一个模型。
3. Positional Encoding
Transformer 本身没有天然顺序感,positional encoding 或 rotary position embedding 会给 token 注入位置信息。 顺序对合同条款、操作步骤、代码执行、对话历史非常关键。 长上下文能力不只是“能塞更多 token”,还包括模型能否在长序列里保持位置关系、引用关系和约束关系。
4. Q/K/V
Query 表示当前位置想找什么信息,Key 表示每个位置能被什么问题匹配,Value 表示匹配成功后要取走的信息内容。 可以把 Q/K/V 理解成一次可学习的信息检索: 每个 token 都会对其他 token 发起查询。 模型通过 Q 与 K 的相似度决定关注谁,再用 attention weight 对 V 做加权汇聚。
5. Attention Score
Attention score 通常由 Q 和 K 的点积计算,点积越大表示当前位置越应该关注对应位置。 Score 会经过缩放和 softmax 变成概率分布,再用于汇聚 value。 Attention 不是完全可靠的人类解释,但它揭示了模型内部信息流的一部分。
6. Multi-Head Attention
一个 attention head 只能学习一类关系,多头注意力让模型同时学习多种关系。 某些头可能关注代词指代,某些头关注语法依赖,某些头关注代码括号,某些头关注业务约束。 多头机制提升上下文组合能力,但更多头不等于无限更好,系统瓶颈仍然会落到数据、参数、上下文质量和推理成本上。
7. Feed-Forward Network
Attention 负责在 token 之间搬运信息,feed-forward network 负责对每个位置的表示做非线性加工。 可以把它理解为“每个 token 自己内部再思考一次”。 很多模型参数集中在 FFN 中,MoE 通常也是在 FFN 位置引入多个专家网络。
8. Residual Connection
深层网络训练困难,因为信息和梯度会在层层传递中衰减或失真。 Residual connection 让每层学习“增量变化”,而不是每次完全重写表示。 产品层面可以理解为: 模型每一层都在原有理解上补充修正。
9. Layer Norm
Layer norm 用于稳定每层激活分布,减少不同层之间的数值漂移。 Pre-norm 和 post-norm 是 Transformer 架构设计中的重要差异。 PM 不需要掌握公式,但架构师需要知道许多小型架构改进会影响训练稳定性和可扩展性。
10. Decoder-only Generation
GPT 类模型通常是 decoder-only: 训练时看到前面的 token,预测下一个 token;推理时生成一个 token,再追加回上下文继续预测。 LLM 不是一次性“想好整篇答案”,而是一步一步生成。 这解释了 streaming、KV cache、temperature、重复、跑偏和长答案退化。
11. Training Objective
GPT 类模型的基础目标是 next-token prediction;BERT 类模型常用 masked language modeling。 为了预测下一个 token,模型必须学习语法、事实、风格、推理模式和世界知识的统计结构。 模型训练目标不等于业务目标,业务目标需要通过 prompt、RAG、工具、评估和流程约束补齐。
12. Inference Loop
推理循环包括输入拼接、tokenization、prefill、decode、采样、停止和输出后处理。 Prefill 阶段处理完整上下文并建立 KV cache,decode 阶段逐 token 生成。 长 prompt 增加 prefill 成本,长输出增加 decode 成本;并发请求需要 batching,低延迟体验需要 streaming,高吞吐场景需要缓存、路由、小模型、量化和异步流程。
从论文到产品架构
Transformer 到 Copilot
Transformer 的上下文建模能力让 Copilot 可以理解用户当前任务、历史输入和候选输出。 Copilot 产品不是聊天框,而是嵌入业务工作流的建议、补全、解释、检查和自动化能力。 架构上需要捕获页面状态、用户意图、权限、业务对象和可执行动作。
BERT 到理解类组件
BERT 思路常映射到 intent detection、semantic matching、reranking、risk classification、entity extraction。 不是所有任务都需要生成式大模型,许多高频、稳定、低延迟任务适合小模型或传统 ML。 架构设计应允许生成模型、理解模型、规则引擎和搜索系统协同。
GPT 到生成和推理
GPT-style 模型适合生成、改写、总结、规划、解释和多轮对话。 它的强项是把上下文压缩成可读输出,弱点是事实边界、可重复性、可验证性和权限边界。 产品设计必须给它足够上下文,也必须限制它不能越权行动。
RAG 到企业知识问答
RAG 把企业文档、政策、合同、工单、代码和知识库接入模型。 核心链路是 ingest、chunk、embed、index、retrieve、rerank、generate、cite、evaluate。 失败常见于 chunk 粒度错误、召回不足、排序错误、上下文冲突、引用缺失、权限穿透和文档过期。
ReAct / Toolformer 到 Agent
Agent 的关键不是“让模型更聪明”,而是让模型能观察、推理、调用工具、接收结果、继续决策。 工具调用把模型从文本生成扩展到系统行动,因此 Agent 需要权限、事务、幂等、回滚、审计和人工确认。 在金融零售、合规、支付、供应链场景中,Agent 不能默认自动执行高风险动作。
RLHF / Constitutional AI 到治理
对齐论文提示我们: 模型输出质量不是单靠预训练解决。 组织需要定义原则、偏好、红线、审批和反馈闭环,并把这些原则放进 system prompt、policy engine、review workflow 和 eval rubric。 AI 治理不是文档口号,它必须进入运行时系统。
LoRA 到领域适配
LoRA 让模型用更少参数适配领域任务,适合风格、格式、领域术语和固定任务模式增强。 LoRA 不适合频繁变化的事实知识注入;业务知识更新通常优先考虑 RAG。 稳定格式和任务能力优化可以考虑 fine-tuning 或 LoRA。
MoE / FlashAttention / KV Cache 到成本和性能
MoE 让每次推理只激活部分专家,FlashAttention 优化内存访问,KV cache 避免重复计算历史上下文,speculative decoding 用小模型草稿和大模型验证。 这些系统概念最终落到产品指标: 首 token 延迟、tokens/s、吞吐、GPU 成本、并发容量和用户等待感。 模型选择不是只看榜单,还要看单位经济、SLA、峰值流量和运维复杂度。
Eval 到产品质量管理
Eval 是 AI 产品的测试体系,没有 eval 就无法判断 prompt 改动、模型升级、RAG 调参或工具变更是否变好。 Eval 需要覆盖正确性、完整性、引用、格式、安全、偏见、成本、延迟和用户任务成功率。 LLM-as-Judge 可以提高评估效率,但必须防范裁判偏差、提示泄漏、偏好漂移和过拟合评测集。
12-week study plan
Week 1: AI 系统全景与语言模型直觉
- Papers/concepts: language modeling、token、embedding、next-token prediction、scaling intuition。
- Diagrams to draw: “输入文本 -> token -> embedding -> Transformer layers -> logits -> next token”。
- Code-lite experiment: 用 tokenizer 工具比较中文、英文、代码、表格的 token 数。
- PM/BA/architect takeaway: token 是上下文、成本和延迟的共同单位。
- Interview question: 为什么大模型预测下一个 token 却能表现出总结、翻译和推理能力?
Week 2: Attention Is All You Need
- Papers/concepts: Transformer、self-attention、multi-head attention、position encoding、encoder-decoder。
- Diagrams to draw: Q/K/V attention 计算流程图;一个 Transformer block 结构图。
- Code-lite experiment: 用 4-token 例子手工画 attention score 和 softmax 权重。
- PM/BA/architect takeaway: attention 是可学习的信息路由机制,不是简单关键词匹配。
- Interview question: Transformer 相比 RNN 为什么更适合大规模并行训练?
Week 3: BERT 与理解类任务
- Papers/concepts: BERT、MLM、NSP、encoder-only、classification、reranking。
- Diagrams to draw: BERT 输入格式;[CLS] 分类头;bi-encoder vs cross-encoder。
- Code-lite experiment: 用 embedding/reranker demo 比较语义相似度和关键词相似度。
- PM/BA/architect takeaway: 生成不是唯一 AI 能力,理解、排序、抽取同样重要。
- Interview question: 什么时候选择 BERT-style 模型,而不是 GPT-style 模型?
Week 4: GPT-style Decoder-only Language Modeling
- Papers/concepts: causal mask、decoder-only、in-context learning、few-shot prompting、temperature。
- Diagrams to draw: causal mask 矩阵;自回归生成循环。
- Code-lite experiment: 对同一 prompt 调整 temperature 和 top-p,观察稳定性和创造性。
- PM/BA/architect takeaway: 生成式模型的可控性来自上下文设计、采样设置和评估约束。
- Interview question: 为什么 decoder-only 架构成为通用 LLM 的主流路线?
Week 5: InstructGPT / RLHF 与对齐
- Papers/concepts: supervised fine-tuning、reward model、RLHF、preference data、helpful/harmless/honest。
- Diagrams to draw: 预训练 -> SFT -> reward model -> RLHF 的四阶段图。
- Code-lite experiment: 给同一基础问题写“续写型 prompt”和“指令型 prompt”,比较输出差异。
- PM/BA/architect takeaway: 业务可用模型需要对齐用户意图,而不只是会生成文本。
- Interview question: RLHF 解决了什么问题,又带来了哪些新风险?
Week 6: Chain-of-Thought 与推理增强
- Papers/concepts: Chain-of-Thought、Self-Consistency、scratchpad、reasoning traces。
- Diagrams to draw: 单路径推理 vs 多路径采样投票。
- Code-lite experiment: 对一道多步业务规则题,比较直接回答、CoT、self-consistency 三种方式。
- PM/BA/architect takeaway: 推理过程可以提高复杂任务表现,但不等于真实因果证明。
- Interview question: 为什么 CoT 有时提升准确率,有时反而引入幻觉?
Week 7: RAG 与知识密集型任务
- Papers/concepts: RAG、dense retrieval、chunking、reranking、citation、faithfulness。
- Diagrams to draw: 文档摄取流水线;查询时 retrieve -> rerank -> generate -> cite。
- Code-lite experiment: 选 5 篇内部学习笔记,手工设计 chunk 规则和 metadata 字段。
- PM/BA/architect takeaway: RAG 的质量上限常由知识工程和检索评估决定。
- Interview question: RAG 为什么不能简单等同于“把文档塞进 prompt”?
Week 8: ReAct、Toolformer 与 Agent
- Papers/concepts: ReAct、Toolformer、tool calling、planning、observation、action loop。
- Diagrams to draw: observe -> think -> act -> observe 循环;工具权限边界图。
- Code-lite experiment: 设计一个“报销政策问答 + 表单检查 + 人工确认”的 Agent 流程。
- PM/BA/architect takeaway: Agent 是带工具和状态的工作流系统,不是更长的 prompt。
- Interview question: 一个企业 Agent 上线前必须设计哪些安全和审计机制?
Week 9: Constitutional AI、Guardrails 与安全治理
- Papers/concepts: Constitutional AI、RLAIF、policy prompt、red teaming、jailbreak、guardrails。
- Diagrams to draw: policy -> model response -> critique -> revision;输入/输出安全检查链路。
- Code-lite experiment: 写一组合规客服场景的 allowed / disallowed / escalate 示例。
- PM/BA/architect takeaway: AI 安全必须产品化为策略、检测、拦截、升级和记录。
- Interview question: 为什么只靠 system prompt 不能构成完整安全方案?
Week 10: LoRA、Fine-tuning 与领域适配
- Papers/concepts: LoRA、PEFT、fine-tuning、prompting、RAG、DPO overview。
- Diagrams to draw: full fine-tuning vs LoRA adapter;RAG vs fine-tuning 决策树。
- Code-lite experiment: 为客服质检任务列出 30 条训练样本和 20 条 eval 样本。
- PM/BA/architect takeaway: 知识更新、格式稳定、行为偏好、领域术语需要不同适配策略。
- Interview question: 什么时候 fine-tune 是错误选择?
Week 11: MoE、FlashAttention、KV Cache 与推理优化
- Papers/concepts: Mixture of Experts、Switch Transformer、FlashAttention、KV Cache、speculative decoding。
- Diagrams to draw: dense model vs MoE routing;prefill/decode/KV cache;draft-verify 推理。
- Code-lite experiment: 估算 1k、8k、32k prompt 在成本和延迟上的差异。
- PM/BA/architect takeaway: 模型选择不是只看榜单,还要看延迟、吞吐、上下文、部署和预算。
- Interview question: 为什么长上下文会显著影响推理成本?
Week 12: Eval、LLM as Judge 与生产架构
- Papers/concepts: HELM、MT-Bench、G-Eval、LLM-as-Judge、RAGAS、agent eval、observability。
- Diagrams to draw: 离线 eval -> 灰度 -> 在线监控 -> 人工反馈 -> 回归测试闭环。
- Code-lite experiment: 为 RAG 问答系统写 20 条 gold questions 和评分 rubric。
- PM/BA/architect takeaway: AI 产品迭代必须以 eval 和 trace 为中心。
- Interview question: 如何判断一次模型升级是否真的让业务系统变好?
Extension Week 13: DPO、Constitutional AI 与偏好治理
- Papers/concepts: DPO、RLAIF、Constitutional AI、preference data、reward hacking、alignment tax。
- Diagrams to draw: policy -> reviewer guideline -> chosen/rejected samples -> model upgrade eval -> runtime controls。
- Code-lite experiment: 为客服拒答、财富建议、信贷 adverse action、AML narrative 写 20 组 chosen/rejected 样本。
- PM/BA/architect takeaway: preference optimization 改善默认行为,但不能替代事实、权限、审批和审计。
- Interview question: 为什么 DPO 或 Constitutional AI 不能替代企业 runtime guardrails?
Extension Week 14: Tool Use Security 与 Prompt Injection
- Papers/concepts: tool use、function calling、indirect prompt injection、data exfiltration、confused deputy、tool gateway。
- Diagrams to draw: trusted/untrusted context separation、tool gateway、policy engine、human approval、trace logging、kill switch。
- Code-lite experiment: 为支付争议、AML case、客服 CRM 写入、信贷文档读取设计 20 条 prompt injection/red-team cases。
- PM/BA/architect takeaway: Agent 安全是系统架构能力,不是 prompt 技巧。
- Interview question: 为什么 function calling schema 不能被当作安全边界?
Extension Week 15: RAG Evaluation、RAGAS 与 Retrieval Metrics
- Papers/concepts: RAGAS、context precision、context recall、faithfulness、answer relevancy、citation support、permission/version tests。
- Diagrams to draw: query set -> gold source -> retrieval trace -> answer judge -> release gate -> failure triage。
- Code-lite experiment: 为 KYC Policy Assistant 写 30 条 eval cases,分别标注 gold source、risk tier、expected behavior 和 failure tag。
- PM/BA/architect takeaway: RAG 质量不是最终答案一个分数,而是检索、证据、引用、权限、版本和拒答组成的上线证据链。
- Interview question: 一个 RAG 答案错了,如何判断是 retrieval、generation、metadata、permission 还是 business expectation 的问题?
Extension Week 16: GraphRAG 与 Knowledge Graph RAG
- Papers/concepts: GraphRAG、entity extraction、relationship extraction、community summary、local/global/DRIFT search、path evidence、graph eval。
- Diagrams to draw: raw corpus -> text units -> entities/relations/claims -> communities -> graph/text retrieval -> grounded answer。
- Code-lite experiment: 为 AML network investigation 设计 10 类实体、20 类关系、5 条 gold paths 和 10 条 GraphRAG eval cases。
- PM/BA/architect takeaway: GraphRAG 不是普通 RAG 的默认升级,而是针对多实体、多跳关系、社区模式和全局总结的架构选择。
- Interview question: 什么时候 baseline RAG 足够,什么时候才值得引入 GraphRAG 或 enterprise knowledge graph?
Extension Week 17: Generative Agents、Memory 与 State Governance
- Papers/concepts: Generative Agents、memory stream、retrieval over memory、reflection、planning、session/workflow/audit/preference memory。
- Diagrams to draw: observation -> memory stream -> retrieval -> reflection -> planning -> action;session/state/audit/preference memory boundary。
- Code-lite experiment: 为 KYC Policy Assistant 或 AML Copilot 写 Memory Inventory、Retention Matrix、Deletion Test 和 Memory Eval Set。
- PM/BA/architect takeaway: Memory 不是让模型记住一切,而是受 consent、权限、保留期、删除、审计和 eval 约束的系统能力。
- Interview question: 为什么长期记忆不能只靠向量库和 prompt 管理?
Extension Week 18: AutoGen、Multi-Agent Conversation 与 Orchestration
- Papers/concepts: AutoGen、multi-agent conversation、planner/executor/critic、handoff contract、shared state、supervisor、HITL。
- Diagrams to draw: manager-worker、sequential pipeline、blackboard shared state、policy supervisor、human checkpoint。
- Code-lite experiment: 为 AML investigation team 设计 5 个 agent role、handoff schema、tool permission 和 eval scorecard。
- PM/BA/architect takeaway: Multi-agent 不是多个机器人聊天,而是角色分工、状态共享、工具边界、人工责任和评估门禁。
- Interview question: 什么时候不要用 multi-agent,而应使用 single agent + workflow + tool gateway?
Extension Week 19: Tree of Thoughts 与 Planning Search
- Papers/concepts: Tree of Thoughts、candidate thought、state evaluator、BFS/DFS/beam search、search budget、human choice point。
- Diagrams to draw: 单路径 CoT vs 多路径 thought tree;task -> thought generator -> evaluator -> search controller -> human review。
- Code-lite experiment: 为 AML alert triage 或 payment dispute 设计 4 条候选调查路径、评分规则和停止条件。
- PM/BA/architect takeaway: 复杂任务不是让模型一次性给答案,而是管理候选路径、证据、评分、成本、停止和人工选择。
- Interview question: ToT 如何降低早期推理错误,又会带来哪些成本和审计风险?
Extension Week 20: Self-RAG、CRAG 与 Agentic Retrieval
- Papers/concepts: Self-RAG、CRAG、retrieval need、context quality gate、corrective retrieval、refuse/escalate、retrieval control plane。
- Diagrams to draw: query -> retrieval need -> router -> context evaluator -> answer critic -> retry/refuse/escalate。
- Code-lite experiment: 为 KYC Policy Assistant 写 30 条 policy exists/missing/outdated/conflict/permission/injection eval cases。
- PM/BA/architect takeaway: RAG 不是 top-k 加 prompt,而是对检索必要性、上下文质量、证据支持和失败路径做显式控制。
- Interview question: 检索结果很弱时,系统应该重试、换源、拒答还是转人工?
Extension Week 21: AgentBench、τ-bench 与 Agent Evaluation
- Papers/concepts: AgentBench、τ-bench、tool-agent-user interaction、tool sandbox、user simulator、policy oracle、trace、agent release gate。
- Diagrams to draw: scenario library -> user simulator -> tool sandbox -> policy oracle -> trace collector -> metric engine。
- Code-lite experiment: 为 AML/KYC/payment/credit/customer service 写 20 个 agent eval scenarios 和 allowed/forbidden actions。
- PM/BA/architect takeaway: Agent 评测必须模拟真实环境、工具、状态、规则和用户交互,而不只是评估单轮回答。
- Interview question: 为什么 task success 高但 policy violation 高的 agent 仍然不能上线?
Extension Week 22: Mechanistic Interpretability、Transformer Circuits 与 SAE
- Papers/concepts: mechanistic interpretability、Transformer circuits、residual stream、attention head、MLP feature、sparse autoencoder、monosemanticity。
- Diagrams to draw: token -> residual stream -> attention/MLP writes -> feature/circuit -> logits;explainability layer map。
- Code-lite experiment: 写一页 Model Risk Memo,说明 mechanistic evidence 能支持什么、不能承诺什么。
- PM/BA/architect takeaway: 解释性研究能增强模型风险理解和 safety case,但不能替代外部 eval、HITL、monitoring 和 audit controls。
- Interview question: 如何向风控/审计解释“模型不可完全透明,但系统仍然可治理”?
Extension Week 23: Long Context、Lost in the Middle 与 RULER
- Papers/concepts: long context、Lost in the Middle、LongBench、RULER、needle retrieval、position robustness、context strategy router。
- Diagrams to draw: short prompt/RAG/long context/hybrid routing;position shift eval;long context cost model。
- Code-lite experiment: 为 KYC policy pack 或 credit file 设计 key facts at beginning/middle/end 的 position robustness test。
- PM/BA/architect takeaway: 标称上下文长度不是有效上下文长度,长上下文仍然需要权限、引用、版本、冲突和成本控制。
- Interview question: 为什么 1M context 仍然不能简单替代企业 RAG?
Extension Week 24: DSPy、OPRO 与 Automatic Prompt Optimization
- Papers/concepts: DSPy、declarative LM program、task signature、teleprompter、OPRO、APE、prompt registry、eval-driven optimization。
- Diagrams to draw: requirement -> task signature -> candidate prompt -> eval -> approval -> release -> monitoring。
- Code-lite experiment: 为 payment dispute draft 写 task signature、10 条 eval cases、3 个 candidate prompts 和 release memo。
- PM/BA/architect takeaway: Prompt 是可版本化、可优化、可评测的系统配置,不是手写文案。
- Interview question: 为什么自动 prompt 优化不能直接自动上线?
Extension Week 25: Reflexion、Self-Refine 与 Agent Feedback Loops
- Papers/concepts: Reflexion、verbal reinforcement、episodic memory、Self-Refine、feedback object、refinement policy、reflection memory。
- Diagrams to draw: output -> critic -> feedback object -> refine/retrieve/escalate/stop -> trace;reflection memory governance。
- Code-lite experiment: 为 AML narrative 或 customer service copilot 写 failure taxonomy、auto-refine boundary 和 stop rules。
- PM/BA/architect takeaway: 自我修正要放进受控 feedback loop,不能让模型无限自我修改。
- Interview question: 什么错误可以自动修,什么错误必须人工复核?
Extension Week 26: Process Supervision 与 Step-by-Step Verification
- Papers/concepts: process supervision、outcome supervision、step-level verification、process reward model、critical step gate、golden traces。
- Diagrams to draw: BPMN process -> step schema -> verifier -> error localization -> release gate。
- Code-lite experiment: 为 credit underwriting 或 payment dispute 写 8 个 process eval steps 和 critical step thresholds。
- PM/BA/architect takeaway: 高风险 AI 不能只看最终答案,过程是否使用正确证据、政策和升级边界同样重要。
- Interview question: 为什么结果正确但过程错误的 AI 输出仍然不可接受?
Extension Week 27: Structured Output、Constrained Decoding 与 LM Program
- Papers/concepts: structured output、JSON Schema、constrained decoding、Guidance、Outlines、Jsonformer、LMQL、schema registry。
- Diagrams to draw: prompt -> constrained decoder -> validator -> policy engine -> tool gateway -> audit trace。
- Code-lite experiment: 为 KYC policy assistant 或 payment dispute agent 写 3 个 JSON Schema、validator matrix 和 schema versioning ADR。
- PM/BA/architect takeaway: 结构化输出是产品和架构 contract,不是提示词格式偏好;schema 正确仍不能替代事实、权限和动作边界验证。
- Interview question: 为什么 function calling 或 JSON schema 不能被当作完整安全边界?
Extension Week 28: Model Routing、Semantic Cache 与 Frugal AI
- Papers/concepts: FrugalGPT、RouteLLM、semantic cache、model cascade、cost-quality frontier、routing policy、fallback。
- Diagrams to draw: request -> task/risk classifier -> cache lookup -> model router -> validator -> trace/cost ledger。
- Code-lite experiment: 为客服、KYC、AML、支付争议写 50 条 golden route cases,标注 small/large/RAG/HITL/cache 路径。
- PM/BA/architect takeaway: 模型选择不是榜单问题,而是按任务、风险、SLO、成本和治理证据做动态路由。
- Interview question: 如何证明一次模型路由策略降低成本但没有牺牲高风险质量?
Extension Week 29: SWE-bench、WebArena、OSWorld 与 Agent Benchmark
- Papers/concepts: SWE-bench、WebArena、OSWorld、GAIA、AgentBench、scenario library、environment sandbox、policy oracle、state verifier。
- Diagrams to draw: goal -> agent runner -> tool/UI environment -> trace collector -> state verifier -> release gate。
- Code-lite experiment: 为 payment dispute agent 或 AML copilot 写 30 个 agent eval scenarios、allowed/forbidden actions 和 state oracle。
- PM/BA/architect takeaway: Agent 能聊天不代表能完成真实任务;评测必须覆盖工具、状态、恢复、权限、成本和 policy violation。
- Interview question: 为什么 task success 高但 policy violation 高的 agent 仍然不能上线?
Extension Week 30: Mamba、S4 与 State Space Models
- Papers/concepts: S4、Mamba、selective state space、Mamba-2、long sequence modeling、cost-latency frontier。
- Diagrams to draw: attention 显式查历史 vs SSM 状态递推;context strategy router;long sequence benchmark plan。
- Code-lite experiment: 为交易流异常检测或长政策包阅读写 long sequence eval pack、成本延迟 benchmark plan 和 model candidate scorecard。
- PM/BA/architect takeaway: 新模型架构的价值要落在任务质量、成本、延迟、生态和治理证据上,而不是追模型名字。
- Interview question: 为什么 Mamba/SSM 可能改善长序列效率,但不自动替代企业 RAG?
Extension Week 31: Embeddings、ANN 与 Vector Search
- Papers/concepts: Word2Vec、Sentence-BERT、FAISS、HNSW、MTEB、bi-encoder、reranker、hard negatives。
- Diagrams to draw: document -> embedding -> ANN index -> metadata/ACL filter -> rerank -> citation verification。
- Code-lite experiment: 为 KYC policy assistant 写 50 条 query/gold/hard-negative 检索样本, 比较 keyword、embedding、hybrid、rerank。
- PM/BA/architect takeaway: 向量检索是候选生成层, 不是事实、权限、版本或业务决策层。
- Interview question: 为什么 embedding model 或 index 参数变更必须进入 release gate?
Extension Week 32: CLIP 与 Multimodal Embeddings
- Papers/concepts: CLIP、ALIGN、BLIP、contrastive learning、image-text embedding、zero-shot classification、多模态 RAG。
- Diagrams to draw: image encoder/text encoder -> shared embedding space -> retrieval/classification/review workflow。
- Code-lite experiment: 为 KYC document intake 或客服截图 triage 写多模态标签体系、hard negatives、threshold calibration 和 privacy control。
- PM/BA/architect takeaway: CLIP-like 模型适合多模态候选生成和冷启动分类, 但不能替代 OCR、权限、真伪判断和人工复核。
- Interview question: 为什么图文相似度不能直接作为 KYC 文件通过依据?
Extension Week 33: Diffusion 与 Latent Diffusion
- Papers/concepts: DDPM、classifier-free guidance、Latent Diffusion、text-to-image、inpainting、asset governance。
- Diagrams to draw: brief -> prompt policy -> generation -> safety/brand/rights review -> asset registry -> publish。
- Code-lite experiment: 为金融教育或零售营销素材设计生成式媒体 policy、asset registry、brand/safety eval 和 human approval workflow。
- PM/BA/architect takeaway: 生成式媒体的产品价值来自创意效率, 生产可用性来自版权、品牌、事实、PII、安全和审批控制。
- Interview question: 为什么金融零售中生成式图像不能直接用于证据图片修改?
Extension Week 34: Graph Neural Networks 与图学习风控
- Papers/concepts: GCN、GraphSAGE、GAT、temporal graph、entity resolution、fraud ring、AML network、GraphRAG 对比。
- Diagrams to draw: source systems -> entity graph -> GNN score -> evidence path -> analyst review -> feedback。
- Code-lite experiment: 为 fraud ring 或 AML network 写节点/边 schema、temporal eval、label delay、explanation design 和 workflow gate。
- PM/BA/architect takeaway: GNN 适合关系型风险信号, 但金融高风险动作仍需要规则、证据路径、人工复核和模型风险治理。
- Interview question: 为什么 GNN score 不能直接触发冻结账户或拒贷?
Extension Week 35: Recommender Systems 与 Next-Best-Action
- Papers/concepts: YouTube DNN、Wide & Deep、Two-Tower、candidate generation、retrieval、ranking、re-ranking、feedback loop。
- Diagrams to draw: customer/context -> candidate generation -> two-tower retrieval -> ranking -> policy re-ranking -> feedback。
- Code-lite experiment: 为金融零售 next-best-action 写候选池、推荐策略、适用性过滤、指标树和 A/B 实验方案。
- PM/BA/architect takeaway: 推荐系统是 AI decisioning layer,不是单个“猜你喜欢”模型;金融场景必须把 suitability、consent、fairness、complaint 和 advice boundary 放进产品架构。
- Interview question: 为什么只优化 CTR 的推荐系统可能伤害客户信任和监管可接受性?
Extension Week 36: Learning to Rank、LambdaMART 与 Neural Ranking
- Papers/concepts: pointwise、pairwise、listwise、RankNet、LambdaRank、LambdaMART、NDCG、query group、neural reranking。
- Diagrams to draw: query/context + candidates -> feature contract -> LTR ranker -> policy reranker -> online experiment -> monitoring。
- Code-lite experiment: 为企业政策搜索、AML alert prioritization 或客服 next action 写 20 条 relevance 标注、NDCG@5 指标和 LambdaMART baseline ADR。
- PM/BA/architect takeaway: 搜索、推荐、告警和运营台都是排序问题;排序质量必须和权限、政策、投诉、公平和人工 override 一起评估。
- Interview question: 为什么 LambdaMART 在 LLM 时代仍然可能是高监管场景的强生产 baseline?
Extension Week 37: Feature Stores 与 Real-Time ML
- Papers/concepts: Feast、Michelangelo、offline/online store、feature view、point-in-time correctness、training-serving skew、freshness SLO、streaming feature。
- Diagrams to draw: event -> entity resolution -> online feature lookup -> model score -> policy decision -> trace -> offline replay。
- Code-lite experiment: 为支付欺诈、信贷预审批或 Agent 工具授权写 10 个 feature contract、freshness SLO 和 online/offline parity 测试。
- PM/BA/architect takeaway: 实时 AI 决策可靠性经常取决于特征平台,而不是模型本身;特征是带 owner、时间语义、权限和质量承诺的数据产品。
- Interview question: 为什么 point-in-time correctness 是防止模型离线虚高、线上失败的关键?
Extension Week 38: Zanzibar、Cedar、OPA 与 AI Policy Architecture
- Papers/concepts: RBAC、ABAC、ReBAC、Zanzibar tuples、Cedar principal/action/resource/context、OPA/Rego、PDP/PEP、policy-as-code。
- Diagrams to draw: AI gateway -> PEP -> PDP -> role/relationship/attribute/policy data -> allow/deny/mask/require approval -> audit。
- Code-lite experiment: 为客服 Copilot、信贷 Copilot 或 AML Agent 写 tool action risk tier、policy tests、RAG permission filtering 和 audit evidence schema。
- PM/BA/architect takeaway: AI Agent 权限不能靠 prompt;权限、策略、审批和审计必须是外部化、可测试、可版本化的 runtime control。
- Interview question: 为什么 RAG 权限必须在检索前过滤,而不能等模型生成后再遮盖?
Extension Week 39: Federated Learning 与 Cross-Silo AI
- Papers/concepts: FedAvg、cross-device、cross-silo、secure aggregation、participant governance、update validation、poisoning risk。
- Diagrams to draw: coordinator -> local training participants -> secure aggregation -> shared model -> local validation。
- Code-lite experiment: 为跨机构 fraud signal collaboration 写参与方治理、数据 contract、标签一致性检查、隐私控制和模型评估门禁。
- PM/BA/architect takeaway: 联邦学习减少原始数据移动,但不能替代隐私、合同、模型风险、数据质量和客户影响治理。
- Interview question: 为什么 federated learning 不等于“数据不出本地所以一定合规”?
Extension Week 40: Differential Privacy 与 DP-SGD
- Papers/concepts: epsilon、delta、privacy budget、composition、DP-SGD、gradient clipping、noise addition、privacy accounting。
- Diagrams to draw: raw data -> query/model training -> clipping/noise -> privacy accountant -> release gate。
- Code-lite experiment: 为客服 Copilot trace analytics 设计 privacy unit、epsilon/delta、预算台账、utility/slice eval 和 evidence pack。
- PM/BA/architect takeaway: DP 提供可量化隐私边界,但会带来效用、稳定性和小群体表现取舍,需要和访问控制、目的限制、保留/删除一起设计。
- Interview question: 为什么 differential privacy 不能简单等同于匿名化或脱敏?
Extension Week 41: Knowledge Distillation、小模型与量化
- Papers/concepts: teacher-student、soft labels、DistilBERT、quantization、specialist model、model cascade、routing。
- Diagrams to draw: frontier teacher -> distillation dataset -> student model -> quantization -> route policy -> fallback。
- Code-lite experiment: 为客服意图分类或 KYC 文档分类写 teacher-student eval、small-model route policy、成本/延迟/隐私 scorecard。
- PM/BA/architect takeaway: 小模型不是低配 AI,而是把任务、风险、延迟、成本和隐私部署边界映射到合适模型的组合策略。
- Interview question: 为什么高频稳定任务可能不应该调用最大模型?
Extension Week 42: Durable Execution 与 Agent Workflow State Machines
- Papers/concepts: durable execution、state machine、workflow replay、event history、Saga、compensation、idempotency、HITL states。
- Diagrams to draw: workflow state -> agent activity -> policy gate -> tool gateway -> human approval -> audit replay。
- Code-lite experiment: 为支付争议 Agent 写状态机、工具副作用矩阵、幂等键、补偿流程、人工审批和事故 replay。
- PM/BA/architect takeaway: 企业 Agent 是长运行工作流系统,不是模型循环;可恢复、可审计和可补偿是进入生产的基本条件。
- Interview question: 为什么 Agent 工具调用成功但工作流崩溃,会比普通文本错误更危险?
Extension Week 43: Digital Twin、Agent-Based Simulation 与 AI Decisioning
- Papers/concepts: digital twin、process twin、decision twin、agent-based modeling、discrete event simulation、calibration、validation、sensitivity analysis。
- Diagrams to draw: event log -> entity/state model -> scenario library -> simulation engine -> impact metrics -> decision memo。
- Code-lite experiment: 为客服 Copilot 容量、支付欺诈策略或 Agent workflow sandbox 写 entity/event/state schema、scenario library 和 validation plan。
- PM/BA/architect takeaway: 仿真不是预测水晶球,而是上线前评估策略、容量、流程、风险和客户影响的决策实验室。
- Interview question: 为什么离线 eval 通过的 AI 策略仍需要仿真或 replay 才能进入高风险试点?
Extension Week 44: Online Experimentation、CUPED 与 AI Release Science
- Papers/concepts: online controlled experiments、CUPED、variance reduction、guardrail metrics、shadow launch、ramp、champion-challenger。
- Diagrams to draw: offline eval -> replay -> shadow -> ramp -> A/B -> decision review -> rollout/rollback。
- Code-lite experiment: 为 RAG 升级、KYC 抽取模型或推荐策略写 experiment design、metric tree、guardrail matrix 和 stop rule。
- PM/BA/architect takeaway: AI 发布科学把“模型看起来变好”转成可证明、可停止、可回滚的生产变更证据。
- Interview question: 为什么 AI 实验不能只看主指标,而必须设计 guardrail 和 risk-based ramp?
Extension Week 45: Data Lineage、Contracts 与 AI Data Quality
- Papers/concepts: OpenLineage、DataHub、OpenMetadata、Great Expectations、data contract、metadata、quality SLO、training/eval/RAG lineage。
- Diagrams to draw: source -> transformation -> dataset -> feature/eval/RAG corpus -> model/answer -> decision trace。
- Code-lite experiment: 为 RAG 政策库或 KYC 文档链路写 data contract、lineage map、quality SLO 和 data incident response。
- PM/BA/architect takeaway: AI 数据治理不是数据目录,而是证明模型、RAG、eval 和决策使用的数据来源、版本、质量、权限和 owner。
- Interview question: 为什么 eval dataset 的 lineage 和训练数据 lineage 一样重要?
Extension Week 46: AI Security Operations、MITRE ATLAS 与 OWASP
- Papers/concepts: MITRE ATLAS、OWASP LLM Top 10、NIST CSF、AI telemetry、detection engineering、incident response、purple team。
- Diagrams to draw: AI gateway telemetry -> detection rules -> SIEM/SOAR -> incident runbook -> control effectiveness dashboard。
- Code-lite experiment: 为客服 AI 或 Agent tool gateway 写 telemetry schema、12 条 detection rules、SEV matrix 和 prompt injection runbook。
- PM/BA/architect takeaway: AI 安全不能停在上线前红队,而要进入持续检测、响应、恢复和控制有效性管理。
- Interview question: 为什么传统 SOC 日志不足以发现 RAG prompt injection 或 Agent 工具误用?
Extension Week 47: Time-Series Forecasting、TFT、DeepAR 与 Foundation Models
- Papers/concepts: DeepAR、Temporal Fusion Transformer、TimesFM、NeuralForecast、probabilistic forecasting、prediction intervals、hierarchical forecasting、rolling backtest。
- Diagrams to draw: source systems -> point-in-time features -> forecast model -> quantile forecast -> decision service -> override -> actual feedback。
- Code-lite experiment: 为客服进线量、现金流或 SKU-门店需求写 forecast contract、feature availability matrix、rolling backtest 和 P50/P90 决策策略。
- PM/BA/architect takeaway: 预测不是 dashboard,而是 forecast-to-decision loop;预测区间、特征可用性、回测泄漏和人工覆盖决定能否生产化。
- Interview question: 为什么 P50 预测准确不代表客服排班、现金流 buffer 或库存决策可用?
Extension Week 48: Anomaly Detection、Isolation Forest 与 Risk Monitoring
- Papers/concepts: Isolation Forest、autoencoder、statistical process control、streaming anomaly detection、PyOD、NAB、threshold calibration、alert fatigue。
- Diagrams to draw: events -> window features -> anomaly ensemble -> policy thresholds -> alert grouping -> triage workbench -> feedback labels。
- Code-lite experiment: 为 fraud/AML/AI cost/SecOps 场景写 anomaly taxonomy、entity-window map、阈值策略、告警分流和反馈标签 schema。
- PM/BA/architect takeaway: 异常检测不是模型报警器,而是风险运营系统;precision、容量、误伤、SLA、反馈闭环同样重要。
- Interview question: 如何避免异常检测上线后三周内变成没人看的告警噪音?
Extension Week 49: Causal Discovery、DoWhy/EconML 与结构化决策
- Papers/concepts: SCM、DAG、causal discovery、causal inference、DoWhy、EconML、DAGitty、NOTEARS、confounding、identifiability、intervention。
- Diagrams to draw: decision question -> DAG -> identification -> estimation -> refutation -> policy simulation -> experiment/rollout。
- Code-lite experiment: 为营销 uplift、提额策略、欺诈强认证或 Copilot ROI 写 causal question canvas、DAG review、assumption register 和 sensitivity report。
- PM/BA/architect takeaway: AI 产品价值不能只靠相关性证明;高风险产品动作需要把 treatment、outcome、population、horizon 和假设显性化。
- Interview question: 为什么 causal discovery 不能自动替代 A/B 实验或业务 DAG review?
Extension Week 50: Optimization、Operations Research 与 AI Decisioning
- Papers/concepts: linear programming、integer programming、CP-SAT、routing、scheduling、OR-Tools、SciPy linprog、Gurobi、PuLP、multi-objective optimization。
- Diagrams to draw: forecast/scenario -> objective/constraints -> solver -> policy guardrail -> workflow execution -> exception/override -> outcome monitoring。
- Code-lite experiment: 为欺诈审核队列、客服排班、催收策略或 AI 平台容量写 optimization problem canvas、目标/约束表和无解例外流程。
- PM/BA/architect takeaway: 预测说明可能发生什么,优化决定在约束下应该怎么做;Agent 可以提案,solver 和 policy 要负责可行性与审计。
- Interview question: 为什么不能让 LLM 直接安排排班、分配额度或排序欺诈审核队列?
Extension Week 51: Contextual Bandits、LinUCB 与 Adaptive Experimentation
- Papers/concepts: multi-armed bandit、contextual bandit、LinUCB、Thompson Sampling、epsilon-greedy、propensity logging、IPS、doubly robust、offline policy evaluation。
- Diagrams to draw: context -> eligible actions -> exploration policy -> selected action + propensity -> reward -> OPE -> policy review。
- Code-lite experiment: 为 offer、next-best-action、客服路由或催收触达写 action catalog、exploration budget、decision log contract 和 OPE memo。
- PM/BA/architect takeaway: Bandit 不是更花哨的 A/B,而是带反事实日志、探索预算、客户保护和 kill switch 的在线学习决策层。
- Interview question: 为什么没有 action probability / propensity logging,就很难证明新策略真的更好?
Extension Week 52: Reinforcement Learning、Offline RL 与 Policy Decisioning
- Papers/concepts: MDP、policy、reward、DQN、policy gradient/PPO、offline RL、CQL、Decision Transformer、reward hacking、safe exploration。
- Diagrams to draw: decision log -> state builder -> action catalog -> simulator/replay -> offline RL learner -> OPE -> policy guardrail -> pilot。
- Code-lite experiment: 为 collections、fraud intervention sequencing、contact center routing 或 Agent tool policy 写 MDP spec、reward registry 和 policy guardrail。
- PM/BA/architect takeaway: RL 的企业价值是序列决策语言;金融零售不能无约束在线试错,必须先做离线评估、仿真、人工审批和回滚。
- Interview question: 为什么高风险金融 AI 不应该直接用 DQN/PPO 在线探索?
Extension Week 53: Bayesian Optimization、BoTorch/Optuna 与实验预算
- Papers/concepts: Bayesian optimization、Gaussian Process surrogate、acquisition functions、EI/UCB/PI、BoTorch、Optuna、multi-objective/constrained BO、regret。
- Diagrams to draw: parameter space -> surrogate -> acquisition -> experiment runner -> metrics/constraints -> next trial -> decision memo。
- Code-lite experiment: 为 RAG、prompt、model routing、pricing/offer 或 capacity/cost tuning 写 parameter registry、metric contract、BO plan 和 Pareto memo。
- PM/BA/architect takeaway: BO 是昂贵实验的决策系统,用更少试验找到高价值配置,但必须纳入 safety gate、holdout eval 和实验审计。
- Interview question: Bayesian optimization 和普通 grid/random search 对 AI 平台 PM 的实际差异是什么?
Extension Week 54: Calibration、Conformal Prediction 与 Uncertainty Governance
- Papers/concepts: calibration、ECE、reliability diagram、Brier score、temperature scaling、conformal prediction、coverage、selective prediction、abstention。
- Diagrams to draw: model score -> calibration layer -> conformal set/interval -> risk router -> auto/review/refuse/escalate -> monitoring。
- Code-lite experiment: 为 KYC 抽取、欺诈拦截、AML triage、信贷策略或 RAG answer confidence 写 calibration report、action routing matrix 和 confidence UX spec。
- PM/BA/architect takeaway: 不确定性不是 UI 装饰,而是 AI 产品自动化边界、人工升级、拒答和客户信任体验的控制面。
- Interview question: 为什么 LLM 自报 confidence 不能直接作为客户面向答案的可信度?
Extension Week 55: Data-Centric AI、Snorkel 与 Programmatic Labeling
- Papers/concepts: Snorkel、weak supervision、data programming、labeling functions、label model、coverage、overlap、conflict、dataset card、label provenance。
- Diagrams to draw: unlabeled data -> labeling functions -> label matrix -> label model -> probabilistic labels -> training dataset -> SME review -> evidence binder。
- Code-lite experiment: 为 KYC 文档、AML typology、投诉意图或 RAG eval 写 label taxonomy、LF catalog、coverage/conflict dashboard 和 SME adjudication flow。
- PM/BA/architect takeaway: 标签不是训练前的杂务,而是 AI 产品的数据资产、治理证据和平台能力。
- Interview question: weak supervision 生成的标签为什么不能直接当作正式 ground truth?
Extension Week 56: Active Learning、Human-in-the-Loop Labeling 与反馈运营
- Papers/concepts: active learning、uncertainty sampling、query-by-committee、expected model change、density weighting、noisy oracle、reviewer calibration、label budget。
- Diagrams to draw: production pool -> query strategy -> HITL queue -> SME review -> adjudication -> dataset registry -> model/eval update -> monitoring。
- Code-lite experiment: 为欺诈调查、KYC 例外、投诉 taxonomy 或 RAG QA 写 query policy、labeling queue、reviewer calibration 和 feedback governance memo。
- PM/BA/architect takeaway: HITL 不是人工兜底,而是把专家判断变成持续学习的数据产品和风险控制机制。
- Interview question: active learning 为什么会带来 sampling bias,如何控制?
Extension Week 57: Dataset Shift、Drift Monitoring 与 Model Performance Operations
- Papers/concepts: covariate shift、label shift、concept drift、training-serving skew、data validation、score drift、embedding drift、outcome lag、segment monitoring。
- Diagrams to draw: data contract -> feature stats -> score distribution -> outcome/proxy labels -> drift alert -> triage -> rollback/retrain/recalibrate。
- Code-lite experiment: 为 fraud、credit、AML、客服意图或 RAG 知识库写 drift metric catalog、alert runbook、segment dashboard 和 outcome lag plan。
- PM/BA/architect takeaway: 模型上线不是结束,生产数据一旦改变,产品、架构和治理假设都要重新验证。
- Interview question: 发现 drift 后为什么不应该默认立刻重训模型?
Extension Week 58: AI Management System、ISO 42001 与 Operating Model
- Papers/concepts: ISO/IEC 42001、AI management system、NIST AI RMF、AI inventory、risk tiering、release gate、control library、management review、continual improvement。
- Diagrams to draw: AI strategy -> inventory -> risk tier -> architecture/data/model review -> release evidence -> monitoring -> management review -> improvement。
- Code-lite experiment: 为 customer-facing GenAI、credit/fraud/KYC/AML AI 或 internal copilot 写 AI inventory、risk tier matrix、RACI、control library 和 evidence binder map。
- PM/BA/architect takeaway: AI 治理不是审批口号,而是让 AI 可持续、可审计、可规模化交付的 operating system。
- Interview question: 风险分层的 AI management system 为什么反而能加速创新?
Extension Week 59: Hidden Technical Debt in ML Systems 与 AI Architecture Debt
- Papers/concepts: CACE、entanglement、boundary erosion、hidden feedback loops、undeclared consumers、data dependency、configuration debt、debt register。
- Diagrams to draw: data sources -> features -> model/prompt -> decision policy -> downstream consumers -> feedback loop -> monitoring -> debt register。
- Code-lite experiment: 为欺诈、信贷、KYC、AML 或客服 RAG 写 dependency map、consumer registry、release bundle 和 AI technical debt register。
- PM/BA/architect takeaway: AI 技术债不是代码脏,而是数据、模型、业务动作和组织责任纠缠后,让每次变更都变慢、变贵、变危险。
- Interview question: CACE 为什么会让 AI 系统比普通软件更难改?
Extension Week 60: CD4ML、MLOps 与 AI Release Engineering
- Papers/concepts: CD4ML、CI/CD/CT、model registry、dataset registry、prompt registry、release bundle、shadow/canary/ramp、rollback、artifact lineage。
- Diagrams to draw: code/data/model/prompt/policy -> validation -> eval gate -> release bundle -> shadow -> canary -> ramp -> monitoring -> rollback。
- Code-lite experiment: 为 RAG 客服、欺诈模型、信贷策略或 AML Copilot 写 release manifest、gate checklist、canary plan 和 rollback runbook。
- PM/BA/architect takeaway: AI 发布不是部署模型,而是对 code、data、model、prompt、阈值、policy 和 eval 的可控变更。
- Interview question: 为什么高风险金融 AI 不能只靠自动 continuous training 直接发布?
Extension Week 61: Human-AI Interaction Guidelines 与 AI Product Design
- Papers/concepts: HAI guidelines、capability boundary、calibrated trust、automation bias、recoverability、feedback、uncertainty UX、human escalation。
- Diagrams to draw: user intent -> risk tier -> evidence/uncertainty -> UX policy renderer -> user control -> feedback/escalation -> monitoring。
- Code-lite experiment: 为 customer-facing RAG、AML analyst copilot 或信贷员工助手写 capability boundary、confidence UX matrix、recovery flow 和 HAI eval metrics。
- PM/BA/architect takeaway: AI 产品体验不是让模型像人,而是让人知道何时信、何时停、如何纠错、如何升级。
- Interview question: 为什么 Human-AI Interaction 是架构问题而不只是 UX 文案问题?
Extension Week 62: AI Architecture Decision Records 与 Decision Governance
- Papers/concepts: ADR、architecture knowledge、ISO/IEC/IEEE 42010、stakeholder concern、AI-specific ADR、reversal trigger、evidence link、risk tier。
- Diagrams to draw: use case intake -> significant decision -> ADR -> review -> release bundle -> monitoring -> supersede/reverse。
- Code-lite experiment: 为一个 flagship AI case 写 5 条 ADR: model strategy、RAG/knowledge、HITL、eval gate、vendor/platform boundary。
- PM/BA/architect takeaway: AI 架构能力不是只会画图,而是能把关键决策、证据、后果和反转条件留下来,让系统长期可演进。
- Interview question: 一条好的 AI ADR 比普通技术文档多哪些字段?
Extension Week 63: AI Requirements Engineering、GQM 与 Eval Contracts
- Papers/concepts: Goal-Question-Metric、AI requirement taxonomy、eval contract、golden set、release gate、monitoring gate、risk owner。
- Diagrams to draw: business outcome -> decision question -> metric -> eval dataset -> threshold -> release gate -> production monitoring -> review owner。
- Code-lite experiment: 为 AML、客服、信贷或财富 Copilot 写一份 GQM matrix 和 eval contract, 覆盖业务、产品、模型、风险和运营指标。
- PM/BA/architect takeaway: 高级 AI BA 能力不是写更多 user story, 而是把模糊 AI idea 转成可验证、可上线、可监控、可审计的证据契约。
- Interview question: 你如何把“做一个 AI 助手”转成可交付、可验收的 AI 产品需求?
Extension Week 64: AI Quality Attributes、ATAM 与 Architecture Tradeoff
- Papers/concepts: quality attribute scenario、utility tree、ATAM、tradeoff point、sensitivity point、architecture tactic、AI release evidence。
- Diagrams to draw: stakeholder concern -> quality scenario -> tactic -> tradeoff -> eval evidence -> ADR -> release decision。
- Code-lite experiment: 为一个 AI case 写 utility tree, 对 RAG、fine-tune、model routing、HITL、guardrail、cache 和 audit log 做权衡矩阵。
- PM/BA/architect takeaway: AI 架构评审不是争论方案偏好, 而是显性化准确性、安全、隐私、延迟、成本、可审计性和可恢复性的取舍。
- Interview question: 你如何判断一个 AI 架构的质量属性和残余风险是否可接受?
Extension Week 65: AI Safety Engineering、STPA 与 Control Structure
- Papers/concepts: STPA、loss、hazard、unsafe control action、control structure、causal scenario、safety constraint、circuit breaker。
- Diagrams to draw: business policy -> AI controller -> model/RAG/tool layer -> business API -> human reviewer -> monitoring feedback -> incident response。
- Code-lite experiment: 为支付退款 agent 或 AML agent 写 loss/hazard register、UCA table、safety constraints、HITL gate 和 kill switch 条件。
- PM/BA/architect takeaway: Agentic AI 的安全不是“模型准确率高”或“有权限控制”就够, 而是完整控制结构、反馈、约束和人工接管是否成立。
- Interview question: 为什么 AI agent 需要 STPA 这类系统安全分析?
Extension Week 66: Sociotechnical AI、Resilience 与 Work-as-Done
- Papers/concepts: sociotechnical system、work-as-imagined、work-as-done、human-AI collaboration、handoff、exception、load、resilience metric、operating model。
- Diagrams to draw: user role -> AI role -> workflow step -> exception path -> handoff -> feedback -> eval update -> governance review。
- Code-lite experiment: 对一个金融零售 AI Copilot 做 work-as-imagined / work-as-done mapping, 并设计 operating model RACI 和 resilience dashboard。
- PM/BA/architect takeaway: AI 产品不是模型功能, 而是人、流程、数据、工具、政策和反馈共同运行的工作系统。
- Interview question: 你如何避免 AI 上线后把风险和工作负载转移给下游团队?
Extension Week 67: AI Capability-Based Planning 与 Business Architecture
- Papers/concepts: capability-based planning、business capability、value stream、capability maturity、portfolio prioritization、architecture runway、funding gate。
- Diagrams to draw: value stream -> capability map -> AI use case portfolio -> maturity gap -> platform/governance dependency -> roadmap。
- Code-lite experiment: 为 AML、客服、信贷或财富顾问做 AI capability map, 并把 use cases 映射到复用能力和平台能力。
- PM/BA/architect takeaway: 企业 AI 转型不是堆 use case, 而是建设可复用、可治理、可扩展的业务和平台能力。
- Interview question: 你如何把 AI use case 清单升级成企业能力路线图?
Extension Week 68: Wardley Mapping 与 AI Product / Platform Strategy
- Papers/concepts: user need、value chain、evolution axis、doctrine、build/buy/partner、platformize、commodity vs custom。
- Diagrams to draw: user need -> AI value chain components -> evolution position -> build/buy/platform decision -> roadmap move。
- Code-lite experiment: 为一个 AI Gateway、客服知识平台或 AML Copilot 画 Wardley Map, 并写 build-buy-platformize 决策矩阵。
- PM/BA/architect takeaway: AI 产品战略需要地形感, 不是用供应商功能表或模型排行榜替代战略判断。
- Interview question: 你如何判断哪些 AI 能力应该自研、采购、合作或平台化?
Extension Week 69: Conway's Law、Team Topologies 与 AI Platform Operating Model
- Papers/concepts: Conway's Law、stream-aligned team、platform team、enabling team、complicated-subsystem team、cognitive load、team API、interaction modes。
- Diagrams to draw: AI value stream -> team topology -> platform team API -> interaction mode -> governance responsibility -> feedback loop。
- Code-lite experiment: 为一个金融零售 AI platform 设计 team topology、RACI、team API 和 interaction mode transition。
- PM/BA/architect takeaway: AI 架构和组织结构会互相塑造, 团队边界错了, 系统接口和治理路径也会错。
- Interview question: 企业 AI 平台应该集中、分散还是平台 + 产品团队混合?
Extension Week 70: DORA / SPACE 与 AI SDLC Engineering Productivity
- Papers/concepts: DORA metrics、SPACE framework、AI-assisted PR、code agent governance、secure SDLC、review load、architecture drift、release gate。
- Diagrams to draw: issue -> AI-assisted code/test/doc -> PR gate -> security gate -> eval gate -> release -> incident/feedback -> productivity dashboard。
- Code-lite experiment: 为 AI code agent adoption 设计 DORA+SPACE dashboard、PR gate checklist 和 AI-assisted defect postmortem 模板。
- PM/BA/architect takeaway: AI 工程生产力不是多写代码, 而是在安全、质量和可恢复性前提下提高端到端交付价值流。
- Interview question: 你如何证明 AI code agent 真的提高了工程生产力, 而不是只增加了 PR 和代码量?
Extension Week 71: Continuous Discovery 与 Opportunity Solution Tree for AI Products
- Papers/concepts: continuous discovery、opportunity solution tree、outcome、opportunity、solution、experiment、assumption map、AI task boundary、pilot learning。
- Diagrams to draw: business outcome -> opportunity tree -> AI task boundary -> solution options -> assumptions -> evidence -> release/scale decision。
- Code-lite experiment: 为 AML、客服、信贷或财富顾问 AI case 写一张 OST, 并设计 5 个高风险假设的验证实验。
- PM/BA/architect takeaway: AI 产品发现不是收集“想要一个助手”, 而是持续发现机会、验证假设、建立证据, 决定继续、调整、停止或平台化。
- Interview question: 业务方提出 AI 助手需求时, 你如何把它转成 opportunity tree 和 evidence plan?
Extension Week 72: Jobs-to-be-Done / Outcome-Driven Innovation 与 AI Use Case Selection
- Papers/concepts: JTBD、job map、outcome statement、underserved outcome、opportunity score、AI fit、automation boundary。
- Diagrams to draw: user job -> job steps -> outcome statements -> underserved outcomes -> AI fit -> automation boundary -> prioritized use case。
- Code-lite experiment: 为一个金融零售角色写 job map 和 outcome catalog, 再评估哪些 job step 适合 AI assist/recommend/decide/act。
- PM/BA/architect takeaway: AI use case 选择不应按 demo 热度排序, 而应从用户要完成的 job 和 underserved outcomes 出发。
- Interview question: 你如何判断一个 job step 应该由 AI 辅助、建议、决策、执行还是不介入?
Extension Week 73: North Star Metrics 与 AI Product Value Measurement
- Papers/concepts: North Star Metric、input metrics、guardrail metrics、risk-adjusted value、causal evidence、benefits realization、product analytics governance。
- Diagrams to draw: North Star -> input metrics -> AI quality/eval metrics -> risk guardrails -> operational load -> cost -> evidence strength。
- Code-lite experiment: 为 AML Copilot、客服 Copilot 或 AI 平台设计 metrics tree 和 risk-adjusted value model。
- PM/BA/architect takeaway: AI 成功不能用调用量、生成字数或主观工时节省证明, 必须连接业务价值、风险护栏、运营负载和因果证据。
- Interview question: 为什么 AI 采纳率高不一定代表 AI 产品成功?
Extension Week 74: AI Product Operating Model 与 Empowered Teams
- Papers/concepts: product operating model、empowered product teams、product trio、decision rights、discovery-delivery-governance cadence、platform/risk operating model。
- Diagrams to draw: AI product team mission -> product trio+ -> decision rights -> discovery cadence -> delivery flow -> eval gate -> operating review。
- Code-lite experiment: 为一个 AI 产品团队设计 Product Trio+、RACI、decision rights 和 operating review dashboard。
- PM/BA/architect takeaway: AI 产品团队要对 outcome 负责, 但必须在模型、数据、风险、平台和运营 guardrails 内被授权。
- Interview question: AI 产品团队如何既 empowered 又满足高风险金融场景的治理要求?
Extension Week 75: AI Portfolio Management 与 Funding Governance
- Papers/concepts: AI portfolio management、portfolio kanban、lean funding、capacity allocation、risk-adjusted value、funding gate、benefits realization、scale/stop decision。
- Diagrams to draw: idea funnel -> discovery -> pilot -> release -> scale/stop;business value -> data readiness -> risk tier -> platform leverage -> funding decision。
- Code-lite experiment: 为 AML、客服、信贷或财富 AI portfolio 写 scorecard、funding memo、quarterly portfolio review agenda 和 stop rule。
- PM/BA/architect takeaway: AI portfolio 不是 use case 清单, 而是用证据、资金、风险、平台和组织容量管理的投资组合。
- Interview question: 你如何决定一个 AI pilot 继续投、扩展、调整还是停止?
Extension Week 76: AI Service Blueprint、Customer Journey 与 Trust
- Papers/concepts: service blueprint、customer journey、frontstage/backstage、trust calibration、human-AI interaction、handoff、correction、appeal。
- Diagrams to draw: customer action -> frontstage AI -> frontstage human -> backstage workflow -> data/knowledge/model -> controls/evidence -> metrics。
- Code-lite experiment: 为信用卡 dispute、信贷解释、客服投诉或 KYC onboarding 写一张 AI service blueprint 和 trust moment checklist。
- PM/BA/architect takeaway: AI 体验不是界面上的回答, 而是包含后台流程、知识源、人工交接、申诉和审计证据的服务系统。
- Interview question: 你如何设计一个客户愿意信任、但不会过度信任的 AI 服务旅程?
Extension Week 77: AI Business Process Reengineering、BPMN 与 DMN
- Papers/concepts: AI BPR、BPMN、DMN、process mining、decision service、AI insertion pattern、human oversight、eval traceability、control evidence。
- Diagrams to draw: value stream -> BPMN node -> DMN decision -> AI capability -> eval contract -> control evidence -> monitoring。
- Code-lite experiment: 为 AML alert triage、贷款审批、支付争议或客服 case flow 写 BPMN/DMN/eval trace matrix。
- PM/BA/architect takeaway: AI 流程重构不是给旧流程加 copilot, 而是重新分配人、规则、模型、系统和控制点的职责。
- Interview question: 你如何把一条复杂金融流程重构成可自动化、可监督、可审计的 AI-ready process?
Extension Week 78: AI Risk Appetite 与 Policy Product Management
- Papers/concepts: risk appetite、policy-as-product、risk tier、guardrail catalog、runtime control、exception process、KRI/SLO、stop rule。
- Diagrams to draw: enterprise risk appetite -> product guardrails -> architecture controls -> runtime enforcement -> monitoring -> exception/review。
- Code-lite experiment: 为财富 AI assistant、信贷 copilot、客服 RAG 或 AML agent 写 risk appetite statement、policy-to-product matrix 和 exception memo。
- PM/BA/architect takeaway: AI 风险偏好必须进入产品边界、路线图、UX、架构控件、监控阈值和上线门禁, 不能停留在政策文件里。
- Interview question: 你如何把董事会/风控层面的 AI risk appetite 转成产品团队可执行的 guardrails?
Extension Week 79: Enterprise AI Reference Architecture 与 Control Plane
- Papers/concepts: enterprise AI reference architecture、control plane、application/model/data/tool/policy/eval/governance plane、model gateway、tool gateway、observability。
- Diagrams to draw: experience -> orchestration -> model/data/tool -> policy/control -> eval/observability -> evidence;control plane vs data plane。
- Code-lite experiment: 为 AML、信贷、客服或 KYC AI platform 画 capability view、C4/container view、sequence view、control view 和 operating view。
- PM/BA/architect takeaway: 企业 AI 架构不是单个 app, 而是一套可复用、可控制、可观测、可审计的 shared architecture。
- Interview question: 你如何设计一个能支持多业务线 AI 应用的 enterprise AI reference architecture?
Extension Week 80: AI Product Line Engineering 与 Reusable Platform Assets
- Papers/concepts: software product line engineering、core assets、variation points、domain engineering、application engineering、asset governance、reuse ROI。
- Diagrams to draw: capability family -> domain architecture -> commonality/variability -> core asset map -> application assembly -> reuse telemetry。
- Code-lite experiment: 为 case-assist、policy assistant 或 customer-facing RAG 产品族写 core asset map、variation matrix 和 reuse decision memo。
- PM/BA/architect takeaway: AI 规模化不是复制 POC, 而是把可复用资产和业务可变点分离并产品化。
- Interview question: 你如何判断一个 AI 能力应该沉淀成平台资产, 还是保留为业务线定制?
Extension Week 81: AI Maturity Model、Roadmap 与 Capability Assessment
- Papers/concepts: AI maturity model、capability domains、evidence standard、roadmap sequencing、capability heatmap、architecture runway、operating cadence。
- Diagrams to draw: maturity domain -> evidence -> gap -> dependency -> roadmap;foundation -> pilot evidence -> platformization -> governance scaling -> product-line reuse。
- Code-lite experiment: 为一家金融零售机构做 AI maturity scorecard、capability heatmap、roadmap dependency map 和 quarterly maturity review agenda。
- PM/BA/architect takeaway: AI 成熟度不是 POC 数量, 而是组织能否持续、安全、可规模化地交付 AI 业务价值。
- Interview question: 你如何评估一个组织的 AI 成熟度, 并把评估结果转成 12 个月路线图?
Extension Week 82: AI Control Library 与 Assurance Evidence Graph
- Papers/concepts: control library、control objective、control activity、assurance case、claim-argument-evidence、evidence graph、release assurance。
- Diagrams to draw: claim -> risk -> control objective -> control activity -> test -> evidence -> owner -> review cadence。
- Code-lite experiment: 为 customer-facing AI、AML agent 或信贷 copilot 写 control catalog、evidence graph table、assurance case memo 和 regulator Q&A map。
- PM/BA/architect takeaway: 高风险 AI 控制不能只靠 checklist, 必须把风险、控制、测试、证据、owner 和上线决策连成图谱。
- Interview question: 当审计或监管问“这个 AI 为什么可以上线”时, 你如何用证据图谱回答?
Extension Week 83: AI Domain-Driven Design 与 Ubiquitous Language
- Papers/concepts: DDD、bounded context、ubiquitous language、aggregate、domain event、context map、anti-corruption layer、RAG boundary、eval vocabulary。
- Diagrams to draw: bounded context -> ubiquitous language -> knowledge source -> AI task boundary -> eval taxonomy -> tool boundary。
- Code-lite experiment: 为 AML、信贷、客服或财富 AI assistant 写 AI domain model canvas、context map、RAG boundary matrix 和 domain eval taxonomy。
- PM/BA/architect takeaway: AI 语义风险来自上下文混用; DDD 能把业务语言、知识边界、工具权限和评估词表连接起来。
- Interview question: 为什么企业 AI 不能只靠一个统一知识库和长 prompt 管理业务语义?
Extension Week 84: AI EventStorming 与 Agent Workflow Discovery
- Papers/concepts: EventStorming、domain event、command、actor、policy、external system、hotspot、read model、AI insertion point、compensation。
- Diagrams to draw: domain event -> command -> actor/system -> policy gate -> tool call -> HITL -> resulting event -> evidence。
- Code-lite experiment: 为 payment dispute、AML investigation 或 credit ops agent 写 event storm board schema、workflow trace matrix 和 hotspot-to-eval map。
- PM/BA/architect takeaway: Agent workflow 设计要从业务事实链开始, 不是从工具清单或 PRD 页面开始。
- Interview question: 你如何用事件风暴发现 AI agent 的工具边界、异常补偿和审计证据?
Extension Week 85: AI Knowledge Work Redesign 与 Role-Task Architecture
- Papers/concepts: knowledge work redesign、role-task decomposition、human-AI teaming、task allocation、accountability、override、workload-risk metrics。
- Diagrams to draw: role -> job -> task -> decision -> artifact -> handoff -> control -> metric;task allocation ladder。
- Code-lite experiment: 为 AML analyst、credit underwriter 或 customer service agent 写 role-task matrix、human-AI responsibility matrix 和 workload-risk dashboard。
- PM/BA/architect takeaway: AI 转型不是发 Copilot, 而是重新设计角色、任务、责任、交接、控制和指标。
- Interview question: 你如何避免 AI adoption 把验证负担和风险转嫁给一线员工?
Extension Week 86: AI Platform Service Catalog 与 Golden Paths
- Papers/concepts: platform engineering、service catalog、golden path、software templates、self-service provisioning、policy guardrails、platform product metrics。
- Diagrams to draw: use case intake -> risk tier -> golden path -> service provisioning -> eval/release gate -> observability/evidence。
- Code-lite experiment: 为银行 AI platform 写 service catalog cards、customer-facing RAG golden path、agent workflow golden path 和 platform adoption dashboard。
- PM/BA/architect takeaway: AI 平台不是模型 API, 而是让团队在 guardrails 内自助交付 safe value 的产品系统。
- Interview question: AI Platform PM 如何证明平台提高了 time-to-safe-value, 而不是只增加了组件数量?
Extension Week 87: AI Architecture Views、C4、arc42 与 ISO 42010
- Papers/concepts: C4 model、arc42、ISO/IEC/IEEE 42010、stakeholder、concern、viewpoint、architecture description、AI control/evidence view。
- Diagrams to draw: stakeholder-concern matrix -> viewpoint catalog -> C4 context/container/component -> runtime/eval/control/evidence views。
- Code-lite experiment: 为 customer-facing RAG、AML copilot 或 payment dispute agent 画 C4 三层图、运行时序列图和 control/evidence view。
- PM/BA/architect takeaway: 高级 AI 架构表达不是一张大图, 而是按 stakeholder concern 组织的多视图决策系统。
- Interview question: 你如何用 C4、arc42 和 42010 让业务、工程、风险、审计都能评审同一个 AI 系统?
Extension Week 88: AI Architecture Fitness Functions 与持续治理
- Papers/concepts: architecture fitness functions、continuous governance、quality attribute、eval gate、policy-as-code、runtime SLO、OpenTelemetry、evidence binder。
- Diagrams to draw: architecture intent -> fitness function -> CI/release gate -> runtime monitor -> exception/remediation -> architecture review。
- Code-lite experiment: 为一个高风险 AI agent 写 12 条 fitness functions, 覆盖质量、安全、隐私、工具、成本、证据和 adoption。
- PM/BA/architect takeaway: AI 架构治理不能只靠上线前评审, 必须把质量和控制转成持续可检查的测试、门禁、监控和证据查询。
- Interview question: 你如何证明 AI 架构上线后仍然满足原来的质量属性和风险边界?
Extension Week 89: Contract-First AI Tool/API Design、OpenAPI 与 AsyncAPI
- Papers/concepts: OpenAPI、AsyncAPI、JSON Schema、CloudEvents、tool contract、event contract、structured output、idempotency、approval、audit。
- Diagrams to draw: agent intent -> tool discovery -> schema validation -> policy decision -> tool execution/event emission -> telemetry/evidence。
- Code-lite experiment: 为 dispute resolution agent 写 3 张 tool contract cards、2 张 event contract cards、side-effect matrix 和 contract test list。
- PM/BA/architect takeaway: Agent 集成不能靠 prompt 文本约定, 必须用契约、策略、审批、幂等和 telemetry 限制可执行动作。
- Interview question: 你如何设计一个既能被 AI agent 调用、又能被安全和审计接受的企业工具契约?
Extension Week 90: AI Traceability Graph 与需求-评测-控制-证据追踪
- Papers/concepts: traceability graph、requirements-to-eval、requirements-to-control、W3C PROV、evidence object、release decision memo、runtime trace。
- Diagrams to draw: business outcome -> requirement -> eval -> control -> ADR -> component/config -> telemetry -> evidence -> release decision。
- Code-lite experiment: 为 AML investigation copilot 或 customer-facing policy assistant 写 requirements-eval-control-evidence graph 和 5 条 audit queries。
- PM/BA/architect takeaway: 高级 BA/PM/架构能力不是写更多 user stories, 而是把需求、风险、评测、控制、运行证据和审计问答连接起来。
- Interview question: 当审计问“这个 AI requirement 为什么算被满足”时, 你如何用 traceability graph 回答?
Extension Week 91: AI Enterprise Architecture、TOGAF ADM 与 ArchiMate
- Papers/concepts: TOGAF ADM、ArchiMate、architecture repository、architecture governance、transition architecture、AI architecture principles。
- Diagrams to draw: AI vision -> capability map -> information/application/technology architecture -> migration plateau -> governance/evidence。
- Code-lite experiment: 为银行 AI portfolio 写 AI ADM canvas、ArchiMate element mapping、architecture repository index 和 transition roadmap。
- PM/BA/architect takeaway: AI EA 不是多画技术图, 而是把 use case、能力、平台资产、治理、迁移和证据放进企业架构循环。
- Interview question: 你如何把分散 AI POC 收敛成 enterprise AI operating capability?
Extension Week 92: Banking AI Reference Models、BIAN、FIBO 与 ISO 20022
- Papers/concepts: BIAN service domains、FIBO ontology、ISO 20022 message semantics、banking semantic boundaries、reference model mapping。
- Diagrams to draw: banking capability -> service domain -> financial concept -> message element -> AI tool/RAG/eval/evidence。
- Code-lite experiment: 为 payment investigation、KYC、AML、credit 或 wealth AI 写 reference model mapping 和 semantic gap log。
- PM/BA/architect takeaway: 金融 AI 不应只学习历史系统字段, 必须对齐行业能力、金融概念和消息语义。
- Interview question: BIAN、FIBO、ISO 20022 如何帮助你减少 AI 在银行场景中的语义风险?
Extension Week 93: AI Semantic Interoperability、RDF、OWL 与 SHACL
- Papers/concepts: RDF triples、OWL ontology、SHACL constraints、semantic contract、JSON Schema boundary、semantic drift。
- Diagrams to draw: concept -> ontology slice -> RAG metadata -> tool schema -> semantic eval -> evidence graph。
- Code-lite experiment: 为 lending policy assistant 或 AML copilot 写 20 个核心概念、10 个关系、5 条 semantic constraints 和 semantic eval cases。
- PM/BA/architect takeaway: 语义互操作是 AI 架构能力, 用来降低概念混淆、字段错配、指标歧义和审计不可追踪。
- Interview question: 什么时候 JSON Schema 足够, 什么时候需要 ontology/SHACL 这类语义约束?
Extension Week 94: AI Value Stream Management 与 Flow Metrics
- Papers/concepts: value stream management、Flow Framework、APQC PCF、DORA/SPACE、AI flow items、benefits realization。
- Diagrams to draw: opportunity -> data readiness -> architecture/eval/control -> release -> adoption -> business outcome -> scale/stop/platformize。
- Code-lite experiment: 为客服 AI portfolio 或 AML AI portfolio 写 value stream canvas、flow metrics dashboard 和 blocked work taxonomy。
- PM/BA/architect takeaway: AI 成功不是调用量和功能数, 而是从 idea 到 safe value 的流动效率、风险控制和可证明业务结果。
- Interview question: 你如何判断 AI portfolio 的瓶颈在需求、数据、平台、风险门禁还是采用?
Extension Week 95: AI Regulatory Architecture、EU AI Act、NIST AI RMF 与 ISO 42001
- Papers/concepts: AI regulatory architecture、risk tier、obligations-to-controls mapping、AI management system、governance evidence。
- Diagrams to draw: regulation/framework -> obligation -> control -> lifecycle gate -> evidence -> management review。
- Code-lite experiment: 为 customer-facing lending copilot 写 risk-tier decision、control map、release gate 和 regulator evidence pack。
- PM/BA/architect takeaway: 高级 AI 产品能力不是记法规条款, 而是把法规、框架和管理体系变成可运行的产品/架构控制。
- Interview question: 你如何把 EU AI Act、NIST AI RMF 和 ISO 42001 转成一个可执行的 AI governance architecture?
Extension Week 96: AI Model Risk Validation 与 Independent Challenge
- Papers/concepts: SR 11-7、model risk、GenAI system validation、conceptual soundness、outcome analysis、independent challenge、revalidation trigger。
- Diagrams to draw: approved use -> system inventory -> validation plan -> challenge questions -> findings -> release decision -> revalidation loop。
- Code-lite experiment: 为 AML case narrative assistant 写 validation plan、evidence map、finding log 和 release restriction memo。
- PM/BA/architect takeaway: GenAI 验证对象不是模型 benchmark, 而是包含模型、prompt、RAG、tool、workflow、HITL 和运营监控的系统。
- Interview question: 模型 benchmark 很高, 为什么金融零售 AI 仍然需要独立验证和有效挑战?
Extension Week 97: AI Third-Party Vendor Contract 与 Exit Architecture
- Papers/concepts: third-party risk、vendor due diligence、AI contract clauses、model update notice、audit rights、SLA/SLO、exit architecture、concentration risk。
- Diagrams to draw: vendor capability -> data boundary -> contract control -> integration architecture -> monitoring -> exit/transition plan。
- Code-lite experiment: 为 AI客服供应商写 due diligence checklist、contract clause map、model update impact matrix 和 exit runbook。
- PM/BA/architect takeaway: AI 采购不是功能对比, 而是把供应商能力、合同权利、数据边界、运行控制和退出路径一起设计。
- Interview question: 你如何防止关键 AI vendor 变成不可替换、不可审计、不可退出的架构风险?
Extension Week 98: AI Data Lifecycle Governance、Provenance 与 Retention
- Papers/concepts: data lifecycle、provenance、retention/deletion、W3C PROV、privacy-by-design、lineage、training/RAG/eval/log data boundaries。
- Diagrams to draw: data source -> consent/legal basis -> transformation -> model/RAG/eval/memory/log use -> retention -> deletion -> evidence。
- Code-lite experiment: 为 banking policy assistant 写 data lifecycle register、provenance card、retention matrix 和 deletion verification checklist。
- PM/BA/architect takeaway: AI 数据治理不是“有数据就用”, 而是定义来源、用途、期限、删除、血缘、权限和证明方式。
- Interview question: 你如何设计一个能支持 RAG、eval、memory 和 audit 的 AI data lifecycle?
Extension Week 99: AI Agent Autonomy 与 Delegation Architecture
- Papers/concepts: autonomy levels、delegated authority、tool authority、approval-before-action、supervisor、kill switch、human escalation。
- Diagrams to draw: task -> autonomy level -> data/tool scope -> approval gate -> escalation -> evidence -> revocation。
- Code-lite experiment: 为 credit card dispute agent 写 autonomy decision record、delegation matrix、tool authority card 和 kill-switch runbook。
- PM/BA/architect takeaway: Agent 自主权不是模型能力, 而是在明确边界内被委派的行动权力。
- Interview question: 你如何判断一个 AI Agent 应该有多高自主性?
Extension Week 100: AI Agent Identity 与 Delegated Authorization
- Papers/concepts: OAuth、OIDC、token exchange、scope catalog、on-behalf-of、purpose-bound token、step-up approval、audit claims。
- Diagrams to draw: human user -> agent run -> token exchange -> tool gateway -> downstream service -> evidence log。
- Code-lite experiment: 为 payment dispute assistant 写 agent identity card、delegated authorization matrix、scope catalog 和 revocation runbook。
- PM/BA/architect takeaway: Agent 不能靠共享 admin key 行动, 必须有可追责身份和可撤销委托授权。
- Interview question: 你如何设计 AI Agent 的身份、授权和审计?
Extension Week 101: AI Runtime Evidence 与 Observability Architecture
- Papers/concepts: OpenTelemetry、OpenLineage、CloudEvents、W3C PROV、trace/span、evidence lake、SLO/KRI、incident replay。
- Diagrams to draw: AI run -> prompt/config -> retrieval -> tool call -> policy decision -> human approval -> output -> feedback -> evidence lake。
- Code-lite experiment: 为 lending policy RAG 写 span schema、evidence event contract、dashboard spec 和 audit query catalog。
- PM/BA/architect takeaway: 生产级 AI 可观测性不是日志, 而是能证明 AI 如何产生输出、如何行动、如何被控制的 runtime evidence。
- Interview question: 你如何让 AI 系统上线后可审计、可复盘、可持续改进?
Extension Week 102: AI Portfolio Systemic Risk 与 Dependency Architecture
- Papers/concepts: dependency graph、concentration risk、blast radius、fallback diversity、shared control、vendor concentration、portfolio KRI。
- Diagrams to draw: use cases -> shared models/vendors/data/tools/identity/HITL/evidence -> failure propagation -> controls。
- Code-lite experiment: 为 5 个金融零售 AI use cases 画 dependency graph、concentration heatmap、blast-radius map 和 fallback matrix。
- PM/BA/architect takeaway: 单个 AI 项目风险可接受, 不代表 AI portfolio 的共享依赖和相关失败风险可接受。
- Interview question: 你如何管理 AI portfolio 级风险, 而不是只审每个项目?
Extension Week 103: AI Customer Harm 与 Redress / Recovery Architecture
- Papers/concepts: NIST AI RMF、EU AI Act post-market monitoring、complaint taxonomy、redress、recourse、remediation、customer recovery、root-cause loop。
- Diagrams to draw: AI decision/action -> customer harm signal -> triage -> correction/compensation -> recovery -> prevention control -> evidence binder。
- Code-lite experiment: 为 AI 客服/信贷/争议处理设计 harm taxonomy、recourse workflow、remediation ledger、customer communication template 和 recovery KPI。
- PM/BA/architect takeaway: 面向客户的 AI 不能只看准确率, 必须把错误发现、救济、补偿、恢复和防复发设计成产品能力。
- Interview question: AI 系统伤害客户后, 你如何设计产品、流程和架构上的补救机制?
Extension Week 104: AI Fairness 与 Fair Lending / Bias Control
- Papers/concepts: fairness metrics、fair lending、disparate impact、proxy discrimination、segment eval、human review calibration、bias risk register。
- Diagrams to draw: protected attributes/proxies -> model/features/policy -> segment outcomes -> review queue -> mitigation -> evidence binder。
- Code-lite experiment: 为信贷预审或额度推荐设计 fairness eval matrix、proxy risk register、segment guardrail、override sampling 和 fairness release gate。
- PM/BA/architect takeaway: 公平性不是算法团队的单点指标, 而是数据、特征、策略、人工审核、客户解释和治理证据的系统属性。
- Interview question: 在不能直接使用敏感属性的场景下, 你如何发现并控制 AI 偏见?
Extension Week 105: AI Explainability 与 Contestability / Adverse Action
- Papers/concepts: explainability boundary、reason code、counterfactual explanation、contestability、adverse action notice、audit trail、human appeal。
- Diagrams to draw: decision -> reason generation -> customer-facing explanation -> appeal intake -> evidence retrieval -> human decision -> feedback。
- Code-lite experiment: 为 lending decision assistant 写 reason-code catalog、adverse-action evidence packet、appeal SLA、human review checklist 和 explanation QA rubric。
- PM/BA/architect takeaway: 可解释性不是把模型内部暴露给用户, 而是给客户、运营、合规和审计一个可理解、可争议、可纠正的决策接口。
- Interview question: 你如何把复杂模型的结果转成合规、可操作、客户能理解的解释?
Extension Week 106: AI Change Impact 与 Release Governance
- Papers/concepts: SR 26-2 change governance、legacy SR 11-7 context、ISO 42001 lifecycle、model/prompt/RAG/tool/policy/vendor change、impact graph、regression gate、rollback。
- Diagrams to draw: change request -> impacted use cases/data/eval/control/vendor/workflow -> regression suite -> approval -> rollout -> monitoring。
- Code-lite experiment: 为 AI portfolio 写 change classification matrix、impact graph、regression gate checklist、release evidence bundle 和 rollback runbook。
- PM/BA/architect takeaway: AI 变更不是普通版本发布, 因为模型、提示词、知识源、工具、策略和供应商任一变化都会改变业务行为和风险暴露。
- Interview question: 你如何治理 AI 系统的 prompt、RAG、模型和工具变更?
Extension Week 107: AI Continuous Control Monitoring 与 Assurance Architecture
- Papers/concepts: NIST AI RMF、ISO 42001 performance evaluation、SR 26-2 monitoring discipline、continuous control monitoring、control test、exception、KRI、management action、assurance evidence。
- Diagrams to draw: control objective -> telemetry/eval/sample -> automated control test -> exception -> owner action -> effectiveness verification -> management report。
- Code-lite experiment: 为 AML copilot 或 lending assistant 写 control test catalog、exception schema、KRI dashboard、sampling plan 和 monthly assurance pack。
- PM/BA/architect takeaway: AI 控制不是上线前 checklist, 而是上线后持续证明控制仍有效、例外被处理、风险仍在 appetite 内的管理系统。
- Interview question: 你如何证明 AI 系统的控制上线后仍然有效?
Extension Week 108: AI Operational Resilience 与 BCP / Degraded Mode Architecture
- Papers/concepts: FFIEC Business Continuity Management、SR 20-24 operational resilience、critical operations、dependency graph、impact tolerance、degraded mode、RTO/RPO、fallback decision rights、tabletop exercise。
- Diagrams to draw: critical AI workflow -> model/RAG/tool/policy/identity/HITL/vendor/evidence dependencies -> degraded modes -> recovery path -> exercise evidence。
- Code-lite experiment: 为 customer service RAG、payments dispute assistant 或 fraud triage agent 写 degraded-mode matrix、manual fallback SOP、customer communication trigger 和 resilience exercise script。
- PM/BA/architect takeaway: AI resilience 不是“模型挂了就换模型”, 而是关键业务操作在依赖降级时仍能安全、可审计、可恢复地运行。
- Interview question: 模型供应商、RAG 索引或人工审核队列故障时, 你如何设计 AI 业务连续性?
Extension Week 109: AI Management Information 与 Board Reporting Architecture
- Papers/concepts: management information、metric contract、MI lineage、risk appetite、board pack、control effectiveness、customer harm reporting、vendor concentration、management action log、attestation。
- Diagrams to draw: telemetry/evidence sources -> metric contracts -> lineage/quality checks -> thresholds -> management action -> board/audit committee decision。
- Code-lite experiment: 为 AI portfolio 写 board MI pack: value metrics、risk appetite dashboard、control effectiveness view、customer harm trend、vendor concentration 和 overdue action log。
- PM/BA/architect takeaway: 董事会报告不是项目周报美化, 而是把 AI 事实、价值、风险、控制和行动做成可追溯、可挑战、可决策的管理信息产品。
- Interview question: 你如何设计董事会能真正用来监督 AI 风险和价值的 MI?
Extension Week 110: AI Closed-Loop Learning 与 Corrective Action Architecture
- Papers/concepts: closed-loop learning、CAPA、feedback taxonomy、root cause、issue-to-change linkage、effectiveness verification、customer complaint signal、drift/eval/incident/audit feedback。
- Diagrams to draw: feedback signal -> issue triage -> root cause -> corrective/preventive action -> change gate -> verification -> residual risk and closure。
- Code-lite experiment: 为信贷解释、客服 RAG 或 AML narrative assistant 写 feedback taxonomy、root-cause codebook、CAPA workflow、change linkage table 和 closure evidence checklist。
- PM/BA/architect takeaway: AI 学习闭环不是“收集反馈再微调”, 而是把失败信号转成可治理的纠正行动、验证证据和防复发机制。
- Interview question: 你如何把用户反馈、人工覆盖、投诉和审计发现变成 AI 系统的可证明改进?
Extension Week 111: AI Regulatory Horizon 与 Obligation Intelligence Architecture
- Papers/concepts: EU AI Act、CFPB circulars、SR 26-2、NIST AI RMF、ISO 42001、source registry、applicability triage、obligation ontology、obligation-to-control/eval/change graph。
- Diagrams to draw: source signal -> applicability triage -> obligation extraction -> impacted product/process/control/eval -> owner action -> evidence and management report。
- Code-lite experiment: 为 lending AI、AML copilot 或 customer service RAG 建一个 obligation intelligence register、source taxonomy、triage checklist 和 control impact map。
- PM/BA/architect takeaway: 监管变化不能只靠法务邮件, 必须转成可追踪的义务情报、控制变更、评测变更和产品路线图影响。
- Interview question: AI 法规和监管指引不断变化时, 你如何让产品和架构持续合规可调?
Extension Week 112: AI Exception / Risk Acceptance 与 Waiver Architecture
- Papers/concepts: exception management、risk acceptance、temporary waiver、compensating control、expiry、renewal、hard stop、residual risk、management attestation。
- Diagrams to draw: policy/control gap -> exception request -> risk assessment -> compensating controls -> approval/expiry -> monitoring -> close/renew/escalate。
- Code-lite experiment: 为高风险 AI pilot 写 exception request form、risk acceptance memo、compensating-control checklist、expiry dashboard 和 no-go rule。
- PM/BA/architect takeaway: 例外不是绕过治理, 而是把无法立即满足的控制缺口显性化、临时化、可监控、可到期、可升级。
- Interview question: 当 AI 项目需要带风险上线或临时豁免控制时, 你如何设计风险接受机制?
Extension Week 113: AI Supply Chain / AI BOM 与 Provenance Architecture
- Papers/concepts: CISA SBOM、NIST SSDF、OWASP LLM Top 10、AI BOM、component provenance、model/data/tool/prompt/eval/human service inventory、signature、license、vulnerability response。
- Diagrams to draw: AI behavior -> model/provider/data/RAG/prompt/tool/MCP/eval/human/telemetry components -> provenance graph -> risk response。
- Code-lite experiment: 为 customer service agent 建 AI BOM schema、component register、provenance graph、license/data-rights table 和 component vulnerability response runbook。
- PM/BA/architect takeaway: AI 供应链透明度不止软件依赖, 还包括模型、数据、语料、prompt、工具、connector、eval、人审和日志平台。
- Interview question: 供应商模型、RAG 语料或 MCP 工具出问题时, 你如何知道哪些 AI 产品受影响?
Extension Week 114: AI Human Review Operations 与 Capacity Architecture
- Papers/concepts: human-centered AI、human review queue、skill routing、reviewer calibration、capacity planning、SLA/OLA、fatigue、override quality、surge mode、independence、audit evidence。
- Diagrams to draw: AI escalation -> risk/skill queue -> reviewer capacity -> decision/override -> quality sample -> calibration -> workforce and surge planning。
- Code-lite experiment: 为 fraud review、AML alert triage 或 lending exception 写 queue taxonomy、capacity model、skill-routing matrix、calibration plan 和 reviewer quality dashboard。
- PM/BA/architect takeaway: HITL 不是页面上加“人工确认”, 而是可运营的人审产能、质量、独立性、升级权和证据系统。
- Interview question: 你如何避免 human-in-the-loop 变成瓶颈或治理表演?
Extension Week 115: AI Segregation of Duties 与 Dual Control Architecture
- Papers/concepts: maker-checker、four-eyes、dual authorization、incompatible duties、independent challenge、approval-before-action、override ownership、audit evidence。
- Diagrams to draw: AI proposal -> maker -> policy/entitlement gate -> independent checker -> approval token -> action execution -> immutable evidence。
- Code-lite experiment: 为 payments repair、AML SAR narrative 或 lending exception 写 incompatible duty matrix、dual-control workflow、approval token schema 和 evidence checklist。
- PM/BA/architect takeaway: AI agent 不能把建议、审批、执行、复核和纠错合并到同一角色或同一自动化链路。
- Interview question: 你如何给 AI workflow 设计职责分离和双控?
Extension Week 116: AI Consent / Preference 与 Purpose-Bound Data Architecture
- Papers/concepts: purpose catalog、consent event、preference center、purpose-bound token、withdrawal、re-consent、runtime enforcement、data minimization。
- Diagrams to draw: customer purpose/preference -> consent event store -> policy decision -> RAG/data/tool filter -> AI response/action -> audit evidence。
- Code-lite experiment: 为 RM copilot 或 open banking assistant 写 purpose catalog、consent event schema、withdrawal flow、RAG filter rule 和 re-consent trigger。
- PM/BA/architect takeaway: consent 不是一个万能勾选框, 而是按目的、范围、时间、能力变化和撤回状态执行的运行时控制。
- Interview question: 你如何防止 AI 把客户同意用于未授权目的?
Extension Week 117: AI Shadow AI 与 Citizen Development Governance Architecture
- Papers/concepts: shadow AI discovery、citizen developer、approved path、risk tier、DLP、prompt/data policy、lightweight gate、platform golden path、migration。
- Diagrams to draw: shadow AI signal -> use case intake -> data/risk classification -> approved tool path or remediation -> migration to governed platform -> monitoring。
- Code-lite experiment: 设计 shadow AI discovery register、citizen AI intake form、risk-tier decision tree、approved tool catalog 和 migration backlog。
- PM/BA/architect takeaway: shadow AI 是未满足工作流需求的信号, 但在金融服务里必须转成可治理的采用路径和平台能力。
- Interview question: 你如何治理员工私下使用 AI 工具, 而不是简单禁止?
Extension Week 118: AI Conduct Risk / Suitability 与 Sales Guardrails Architecture
- Papers/concepts: conduct risk、suitability、Reg BI concepts、approved claims、forbidden claims、eligibility gate、vulnerable customer escalation、surveillance、complaints linkage。
- Diagrams to draw: customer context -> eligibility/suitability/conduct policy -> AI recommendation/offer -> disclosure/handoff -> surveillance -> complaint/remediation loop。
- Code-lite experiment: 为 wealth RM copilot 或 card offer personalization 写 approved-claim library、suitability gate、forbidden-claim detector、surveillance KRI 和 complaint linkage。
- PM/BA/architect takeaway: 客户影响型 AI 不能只优化转化率, 必须把合适性、销售行为、披露、弱势客户和投诉整改做成产品护栏。
- Interview question: 你如何设计 AI 推荐或销售助手, 避免误导销售和不适当建议?
Extension Week 119: AI Records / Retention / Legal Hold 与 eDiscovery Architecture
- Papers/concepts: records taxonomy、retention class、legal hold、ESI、WORM / audit trail、regulator production、eDiscovery export、deletion conflict。
- Diagrams to draw: AI run -> prompt/RAG/tool/approval/output/eval/incident records -> retention policy -> legal hold override -> production package。
- Code-lite experiment: 为 lending copilot 或 AML SAR assistant 写 AI record taxonomy、retention matrix、legal hold trigger、export manifest 和 evidence chain。
- PM/BA/architect takeaway: AI 证据不是“日志多存一点”, 而是把哪些对象是记录、留多久、何时保全、如何调取和如何证明完整性设计清楚。
- Interview question: 你如何设计 AI 系统的 records retention 和 legal hold, 同时处理删除请求和诉讼保全冲突?
Extension Week 120: AI Data Residency / Cross-Border 与 Sovereign AI Architecture
- Papers/concepts: data residency、cross-border transfer、sovereign AI、regional model route、key residency、processor matrix、transfer impact review、support access。
- Diagrams to draw: user/data jurisdiction -> classification -> model/RAG/tool/log route -> key boundary -> vendor/support access -> transfer evidence。
- Code-lite experiment: 为 open banking assistant 或 global RM copilot 写 residency decision tree、jurisdiction-purpose-vendor matrix、region routing policy 和 transfer review evidence。
- PM/BA/architect takeaway: AI 数据跨境风险不只在 prompt, 还包括 RAG 语料、embedding、日志、eval、供应商支持、密钥和人审队列。
- Interview question: 你如何判断一个 AI 功能能不能调用某个区域外模型或供应商?
Extension Week 121: AI Customer Communications 与 Regulated Content Lifecycle
- Papers/concepts: regulated communication、approved claims、forbidden claims、pre-use review、post-use surveillance、disclosure versioning、channel capture、complaint linkage。
- Diagrams to draw: product claim -> approved content library -> AI draft -> policy scan -> human/pre-use review -> customer channel -> surveillance -> complaint/remediation。
- Code-lite experiment: 为 credit card offer、wealth RM message 或 servicing chatbot 写 approved-claim library、forbidden-claim detector、disclosure version map 和 communication evidence schema。
- PM/BA/architect takeaway: 客户沟通型 AI 不是文案生成器, 而是内容资产、审批、渠道、披露、监控、投诉和整改的生命周期系统。
- Interview question: 你如何防止 AI 在营销、销售或客服沟通中生成误导性、过度承诺或未批准的内容?
Extension Week 122: AI Financial Crime Typology / Scenario Coverage 与 SAR Evidence Architecture
- Papers/concepts: AML typology、red flags、scenario library、coverage matrix、synthetic vs real-case eval、SAR narrative evidence、alert-to-case-to-SAR traceability。
- Diagrams to draw: advisory/red flag -> typology object -> scenario cases -> rule/model/LLM triage -> evidence bundle -> SAR narrative -> QA and coverage dashboard。
- Code-lite experiment: 为 AML copilot 写 typology object model、red-flag evidence map、scenario coverage matrix、SAR evidence bundle schema 和 coverage KRI。
- PM/BA/architect takeaway: 金融犯罪 AI 的核心不是“会不会判断可疑”, 而是覆盖哪些类型学、证据如何绑定、盲区如何暴露、SAR 叙述如何可复核。
- Interview question: 你如何证明一个 AML AI copilot 覆盖了关键 typology, 而不是只在合成样本上表现好?
Extension Week 123: AI Intellectual Property / Content Rights 与 Provenance Architecture
- Papers/concepts: content rights、copyrightability、human authorship、input license、RAG corpus rights、generated output review、C2PA、Content Credentials、takedown。
- Diagrams to draw: source asset -> rights clearance -> RAG/generation -> output classification -> copyrightability/similarity/claim review -> C2PA manifest -> publish/reuse/takedown。
- Code-lite experiment: 为 marketing generator 或 wealth education assistant 写 content object taxonomy、rights matrix、C2PA provenance record、output clearance workflow 和 takedown runbook。
- PM/BA/architect takeaway: 生成内容不是“模型产物”这么简单, 必须把输入权利、语料许可、输出用途、来源证明和发布责任串成生命周期。
- Interview question: 你如何设计 AI 生成内容的权利清查和 provenance, 防止营销或客服内容带来版权/声明风险?
Extension Week 124: AI Deepfake / Synthetic Identity 与 Authentication Fraud Architecture
- Papers/concepts: identity proofing、synthetic identity、deepfake、liveness、presentation attack detection、digital injection、device signal、step-up authentication、fraud ops。
- Diagrams to draw: onboarding/recovery/payment event -> identity proofing signals -> liveness/PAD -> device/behavior graph -> risk score -> step-up/human review -> fraud evidence。
- Code-lite experiment: 为 digital onboarding、account recovery 或 high-risk payment 写 deepfake threat model、proofing control matrix、step-up policy 和 fraud evidence schema。
- PM/BA/architect takeaway: AI deepfake 风险不是单一检测模型问题, 而是身份、设备、行为、交易意图、人工复核和客户摩擦的组合架构。
- Interview question: 当客户通过 MFA 但正在被 deepfake/voice clone 欺骗时, 产品和架构如何识别并干预?
Extension Week 125: AI Workforce / HR Decision 与 Employee Monitoring Governance
- Papers/concepts: employment AI、selection procedure、adverse impact、worker well-being、human oversight、employee monitoring、worker data minimization、inclusive hiring。
- Diagrams to draw: workforce AI use case -> decision impact tier -> data minimization -> adverse impact/accessibility review -> human review -> notice/explanation -> monitoring。
- Code-lite experiment: 为 call-center QA copilot、branch staffing optimizer 或 hiring screener 写 workforce AI inventory、adverse impact test plan、employee notice 和 escalation workflow。
- PM/BA/architect takeaway: 员工侧 AI 不是内部工具就低风险, 它会影响招聘、绩效、排班、培训、监控和员工信任。
- Interview question: 你如何治理 HR 或员工监控 AI, 避免效率提升变成不可解释的劳动决策风险?
Extension Week 126: AI Incident Disclosure / Liability 与 Risk Transfer Architecture
- Papers/concepts: AI incident taxonomy、materiality triage、customer/regulator/board notification、liability boundary、vendor indemnity、insurance mapping、loss quantification、tabletop。
- Diagrams to draw: AI incident -> impact/materiality triage -> customer/regulator/board/vendor/insurer workflow -> evidence pack -> remediation -> risk transfer review。
- Code-lite experiment: 为 customer-harm AI incident 或 vendor model outage 写 incident taxonomy、materiality decision tree、liability boundary map、insurance notification checklist 和 executive memo。
- PM/BA/architect takeaway: 高级 AI 架构师必须把事故事实、影响、披露、合同、保险、赔偿和整改证据连接成管理层可决策的包。
- Interview question: AI 事故发生后, 你如何帮助高管判断是否通知客户、监管、董事会、供应商和保险人?
Extension Week 127: AI Post-Quantum 与 Cryptographic Agility Architecture
- Papers/concepts: post-quantum cryptography、cryptographic agility、AI crypto inventory、long-lived evidence、signature profile、key/cert lifecycle、vendor readiness、evidence replay。
- Diagrams to draw: AI use case -> data/evidence lifetime -> crypto dependency -> vendor readiness -> migration wave -> evidence verification。
- Code-lite experiment: 为 customer-facing RAG 或 agent tool workflow 写 AI crypto inventory、long-lived evidence matrix、PQC vendor readiness scorecard 和 crypto-agile ADR。
- PM/BA/architect takeaway: 高级 AI 架构师不需要替代密码学专家, 但必须能把长期证据、签名、密钥、供应商和迁移波次组织成业务可执行路线图。
- Interview question: 如果公司要准备 post-quantum migration, 你如何评估 AI 平台、RAG、agent tool 和长期证据的影响?
Extension Week 128: AI Authorized Push Payment 与 Scam Intervention Architecture
- Papers/concepts: authorized push payment scam、social engineering、beneficiary risk、customer intent confidence、intervention ladder、safe pause、fraud escalation、remediation evidence。
- Diagrams to draw: payment intent -> scam signal fusion -> beneficiary/mule risk -> step-up friction -> human escalation -> payment release/hold -> complaint/remediation loop。
- Code-lite experiment: 为 real-time payment 场景写 scam taxonomy、customer intent rubric、intervention ladder、evidence schema 和 false-positive review dashboard。
- PM/BA/architect takeaway: 高级产品架构不是简单“拦截付款”, 而是在客户自主、诈骗防护、摩擦、证据和救济之间做可审计的实时决策。
- Interview question: 你如何设计 AI 支持的 APP scam 干预系统, 既减少诈骗损失又避免过度阻断合法客户意图?
Extension Week 129: AI Agent Marketplace 与 Tool Certification Governance Architecture
- Papers/concepts: agent marketplace、tool certification、capability card、risk tier、OpenAPI/AsyncAPI/MCP manifest、signed package、runtime permission、owner attestation、deprecation。
- Diagrams to draw: capability intake -> certification gates -> marketplace publication -> runtime entitlement -> invocation ledger -> monitoring -> renewal/deprecation。
- Code-lite experiment: 为一个内部 agent tool marketplace 写 capability card、risk-tier matrix、tool/API certification checklist、signed package manifest 和 runtime permission policy。
- PM/BA/architect takeaway: 企业 agent marketplace 不是普通服务目录, 它是把可发现、可复用、可授权、可监控、可退出的 agentic capability 做成平台产品。
- Interview question: 如何避免企业内部 agent/tool marketplace 变成高风险 shadow AI supply chain?
Extension Week 130: AI Customer Vulnerability / Accessibility 与 Inclusive AI Architecture
- Papers/concepts: vulnerable customer、inclusive AI、accessibility、WCAG、plain language、cognitive load、support-need taxonomy、safe escalation、complaint linkage、dignified intervention。
- Diagrams to draw: customer signal -> support need classification -> accessibility/channel adaptation -> plain-language response -> human handoff -> QA/complaint/CAPA feedback。
- Code-lite experiment: 为 collections、fraud dispute 或 branch/contact center AI 写 support-need taxonomy、accessibility release gate、handoff evidence schema 和 inclusive AI metrics dashboard。
- PM/BA/architect takeaway: 面向弱势客户的 AI 架构不是贴标签, 而是用最小必要数据、可访问渠道、尊严保护、人工升级和投诉闭环支撑更公平的客户结果。
- Interview question: 你如何设计金融零售 AI, 既能识别客户困难/诈骗/可访问需求, 又不侵犯隐私、不歧视、不让客户失去自主权?
Extension Week 131: AI Payment Dispute / Chargeback 与 Claims Evidence Architecture
- Papers/concepts: payment dispute、chargeback、EFT error claim、billing error、case clock、provisional credit logic、evidence bundle、merchant/customer evidence、complaint linkage。
- Diagrams to draw: dispute intake -> product/rail/rule classification -> evidence collection -> AI triage/recommendation -> human decision -> customer communication -> complaint/RCA loop。
- Code-lite experiment: 为 debit card 或 credit card dispute 写 claim taxonomy、case clock matrix、evidence manifest、AI routing rubric 和 customer communication control。
- PM/BA/architect takeaway: 支付争议 AI 的核心不是“自动判责”, 而是把时限、证据、客户沟通、临时贷记、人工复核和投诉闭环组织成可审计 claims architecture。
- Interview question: 你如何设计 AI 支持的支付争议/拒付系统, 既提高处理效率又不牺牲客户权利、证据质量和合规可证明性?
Extension Week 132: AI Collections / Hardship 与 Delinquency Treatment Architecture
- Papers/concepts: delinquency prediction、hardship treatment、contact strategy、fair treatment、Reg F awareness、vulnerable customer signal、accessibility、complaint linkage、conduct QA。
- Diagrams to draw: delinquency signal -> treatment eligibility -> contact policy -> hardship/payment option -> human escalation -> outcome monitoring -> complaint/CAPA feedback。
- Code-lite experiment: 为逾期账户设计 treatment matrix、contact guardrail、hardship workflow、accessibility gate 和 customer outcome dashboard。
- PM/BA/architect takeaway: 催收 AI 成熟度不是多催回多少钱, 而是能证明客户处理公平、尊严、可访问、可解释、可复核且可持续降低损失。
- Interview question: 你如何用 AI 改造催收/困难客户处理, 同时控制 conduct risk、投诉风险和模型误伤?
Extension Week 133: AI Voice AI / Contact Center 与 Agent Assist Governance Architecture
- Papers/concepts: voice bot、real-time transcription、agent assist、call summary、next-best-action、sentiment/emotion signal、QA automation、disclosure boundary、complaint capture。
- Diagrams to draw: voice/audio stream -> transcription -> policy/knowledge retrieval -> agent assist -> final-channel capture -> QA/complaint/model monitoring。
- Code-lite experiment: 为客服中心 AI 写 call evidence schema、agent-assist approved action matrix、summary QA rubric、complaint trigger list 和 telemetry dashboard。
- PM/BA/architect takeaway: Voice AI 不是单个机器人, 而是客户沟通、坐席辅助、内容治理、投诉、QA、员工绩效和模型风险交织的运行系统。
- Interview question: 你如何治理金融客服中心的 voice AI 和 agent assist, 避免错误建议、误导沟通、投诉漏记和坐席过度依赖?
Extension Week 134: AI Digital Identity Wallet / Verifiable Credentials 与 Trust Architecture
- Papers/concepts: digital identity wallet、verifiable credentials、DID、WebAuthn/passkeys、trust registry、selective disclosure、revocation/status、verified claim vs AI-inferred attribute。
- Diagrams to draw: issuer -> wallet/holder -> presentation -> verifier policy -> risk/AI decision -> evidence -> revocation/status monitoring。
- Code-lite experiment: 为 KYC onboarding 或 agent delegation 写 credential acceptance policy、issuer trust registry、selective disclosure UX、verification evidence schema 和 revocation handling runbook。
- PM/BA/architect takeaway: 身份钱包/VC 的高级价值不是“上链身份”, 而是把可验证 claim、认证上下文、隐私最小化、信任策略和 AI 推断边界分清楚。
- Interview question: 你如何让 AI 使用 digital identity wallet 和 verifiable credentials, 同时避免把 AI 推断属性误当成已验证身份事实?
Extension Week 135: AI Open Banking / Open Finance 与 Consented Data Sharing Architecture
- Papers/concepts: CFPB 1033 awareness、open banking、open finance、consented data sharing、authorized third party、developer interface、revocation、data minimization、API contract、AI use boundary。
- Diagrams to draw: customer authorization -> data provider API -> third-party recipient -> AI feature/RAG boundary -> customer value -> revocation/audit evidence。
- Code-lite experiment: 为 personal finance assistant 或 lending prefill 场景写 authorization UX、data scope matrix、third-party onboarding checklist、AI usage policy 和 revocation evidence schema。
- PM/BA/architect takeaway: 开放金融 AI 不是“拿更多账户数据”, 而是把客户授权、数据最小化、撤回、第三方风险、API 契约和 AI 决策边界变成同一套产品架构。
- Interview question: 你如何设计一个使用开放银行数据的 AI 产品, 既创造客户价值又避免无限制数据采集和目的漂移?
Extension Week 136: AI Personalized Pricing / Offer Decisioning 与 Governance Architecture
- Papers/concepts: personalized pricing、offer decisioning、surveillance pricing、risk-based pricing、relationship offer、eligibility policy、feature boundary、adverse-action handoff、experiment guardrail、complaint monitoring。
- Diagrams to draw: customer/product context -> eligibility policy -> pricing/offer model -> explanation/reason handoff -> customer presentation -> monitoring/complaint/RCA loop。
- Code-lite experiment: 为 retention offer 或 fee waiver decision 写 feature allow/deny list、offer policy matrix、experiment risk gate、reason-code handoff 和 surveillance pricing allegation playbook。
- PM/BA/architect takeaway: 个性化 offer 的成熟度不是 uplift 最大, 而是能证明价格/额度/优惠没有滑向不可解释、不可申诉、侵入式或剥削式的个体化定价。
- Interview question: 你如何区分合理的 risk-based pricing / customer relevance 与高风险 surveillance pricing?
Extension Week 137: AI Document Intelligence / Unstructured Data 与 Evidence Quality Architecture
- Papers/concepts: document intelligence、OCR、layout understanding、entity extraction、confidence calibration、human review、document provenance、chain of custody、records mapping、tamper detection。
- Diagrams to draw: document intake -> provenance/tamper check -> classification/OCR/layout extraction -> confidence/review -> workflow decision -> records/evidence archive。
- Code-lite experiment: 为 KYC、支付争议或贷款服务设计 document evidence manifest、field confidence rubric、human review queue、records retention mapping 和 extraction error dashboard。
- PM/BA/architect takeaway: 文档智能不是 OCR 自动化, 而是 evidence-grade extraction、人工复核、记录治理、工作流控制和事后可重放证据的组合。
- Interview question: 你如何证明 AI 从客户文档抽取的字段足够可靠, 可以支撑金融运营决策或客户争议处理?
Extension Week 138: AI Privacy Clean Room / Data Collaboration 与 Measurement Architecture
- Papers/concepts: privacy clean room、data collaboration、partner measurement、aggregation、differential privacy、synthetic data、secure enclave、PEC、de-identification risk、purpose limitation、output control。
- Diagrams to draw: partner use-case intake -> data contract/purpose review -> clean-room computation -> query/output review -> measurement result -> evidence/monitoring/incident loop。
- Code-lite experiment: 为 marketing measurement、fraud insight 或 portfolio benchmark 设计 clean-room use-case intake、data contract、query template、output threshold、partner risk scorecard 和 evidence pack。
- PM/BA/architect takeaway: Clean room 不是更安全的文件交换, 而是把协作问题、输入数据、计算、输出、AI 使用和合作方行为全部目的绑定并可证明的产品架构。
- Interview question: 你如何设计 privacy clean room, 让合作方能测量效果, 但不能重识别客户、扩大用途或把数据拿去训练模型?
Extension Week 139: AI Credit Lifecycle / Underwriting / Line Management Governance Architecture
- Papers/concepts: credit lifecycle、prequalification、underwriting、line assignment、CLI/CLD、risk-based pricing handoff、adverse action reason、manual override、fair lending/proxy risk、portfolio monitoring、complaint linkage、model risk。
- Diagrams to draw: customer signal -> offer/prequal -> application -> decision factory -> line/pricing handoff -> reason packet -> review/appeal/complaint -> portfolio/model-risk monitoring。
- Code-lite experiment: 为信用卡授信或个人贷款设计 decision inventory、reason catalog、line governance matrix、override workflow、portfolio KRI 和 complaint-to-CAPA evidence binder。
- PM/BA/architect takeaway: 信用 AI 不是一个 approval model, 而是跨授信、额度、价格、解释、人工复核、投诉和组合表现的生命周期治理系统。
- Interview question: 你如何设计 AI credit lifecycle, 让 underwriting、额度管理、adverse action、fair lending、组合监控和客户救济能被同一套证据链证明?
Extension Week 140: AI Wealth Advice / Robo-Advisor / Best Interest Boundary Architecture
- Papers/concepts: robo-advisor、advice boundary、education vs recommendation vs execution、risk tolerance、risk capacity、approved investment universe、suitability/best-interest style controls、disclosure、human escalation、supervision evidence。
- Diagrams to draw: customer intent -> advice boundary classifier -> investor profile snapshot -> approved universe -> recommendation policy engine -> disclosure/evidence -> execution confirmation -> supervision/complaint loop。
- Code-lite experiment: 为数字投顾设计 advice taxonomy、risk-profile schema、product universe metadata、recommendation rationale object、human escalation rules 和 supervision sampling dashboard。
- PM/BA/architect takeaway: 财富 AI 的核心不是“推荐买什么”, 而是证明推荐没有越过业务边界, 并且在当时画像、产品宇宙、披露和监督控制下可复盘。
- Interview question: 你如何区分教育、一般信息、个性化建议、投资组合管理和交易执行, 并把这些边界落实到 AI 产品架构?
Extension Week 141: AI Treasury / Liquidity / ALM Forecasting / Stress Evidence Architecture
- Papers/concepts: treasury、liquidity forecasting、deposit beta/runoff、cash-flow projection、ALM、IRRBB、stress testing、FTP、contingency funding、ALCO workflow、model risk、board MI、data lineage。
- Diagrams to draw: balance sheet/event data -> forecast feature layer -> scenario library -> liquidity/ALM model -> action recommendation -> ALCO decision -> funding action -> board MI/evidence loop。
- Code-lite experiment: 为零售银行存款流失和流动性压力设计 forecast object、scenario catalog、data lineage map、committee decision pack、contingency trigger 和 management information dashboard。
- PM/BA/architect takeaway: Treasury AI 不是通用预测看板, 而是把预测、压力场景、委员会决策、资金动作、模型风险和董事会证据连接成 ALM 操作系统。
- Interview question: 你如何让 AI liquidity forecast 从“预测数值”变成 ALCO 可以采用、审计可以复盘、董事会可以监督的决策证据?
Extension Week 142: AI Complaint Intelligence / Root Cause / Regulatory Response Architecture
- Papers/concepts: complaint intelligence、AI summarization governance、harm taxonomy、root cause ontology、product defect linkage、regulatory response evidence、CAPA、customer communication、board MI、model risk。
- Diagrams to draw: complaint intake -> original evidence preservation -> AI classification/summary -> harm severity -> RCA graph -> product defect/CAPA -> regulatory response pack -> effectiveness monitoring。
- Code-lite experiment: 为支付争议、费用解释或信贷拒绝投诉设计 complaint ledger、harm taxonomy、RCA template、evidence manifest、CAPA closure rule 和 board complaint MI。
- PM/BA/architect takeaway: 投诉 AI 不是客服分类器, 而是客户伤害、产品缺陷、控制失效、监管响应和持续改进之间的证据架构。
- Interview question: 你如何把投诉从工单处理升级成 complaint-to-control loop, 并证明 AI 摘要、根因、整改和客户沟通都可追溯?
AI system architecture mental models
1. Model
Model 是能力引擎,不是完整产品;描述模型时要说明模型类型、上下文长度、模态、成本、延迟、部署方式和数据使用政策。 模型选择应由任务、风险、成本、延迟和可治理性共同决定。
2. Context
Context 是模型当前可见的信息边界,包括用户问题、系统指令、业务对象、历史对话、检索文档、工具结果和策略约束。 Context engineering 是 AI 架构的核心工作。
3. Memory
Memory 是跨会话、跨任务保留信息的机制,可以在数据库、向量库、用户画像、知识图谱或事件日志中。 必须区分“模型参数记住了”和“系统记忆存储了”。
4. Tools
Tools 让模型从文本生成走向真实操作,包括搜索、数据库查询、计算器、风控规则、工单系统、支付接口或代码执行器。 每个工具都需要 schema、权限、超时、重试、审计和错误处理。
5. Retrieval
Retrieval 决定模型能否获得正确外部知识,需要处理数据摄取、切块、索引、权限、召回、排序、引用和更新。 很多 RAG 问题不是模型问题,而是检索和知识治理问题。
6. Eval
Eval 是 AI 系统的质量仪表盘,覆盖任务成功、事实一致性、格式合规、引用正确、安全风险、成本和延迟。 Eval 集需要版本化,避免每次改 prompt 都靠主观感觉。
7. Guardrails
Guardrails 是运行时控制,不是单条提示词,包括输入过滤、输出检测、敏感动作确认、权限检查、策略引擎、红队测试和人工升级。 高风险行业必须把 guardrails 设计成架构组件。
8. Observability
AI observability 要记录 prompt、retrieved context、tool call、model version、latency、cost、error、judge score 和 human feedback。 没有 trace,就无法复盘幻觉、错误检索、工具失败或成本异常。
9. HITL
Human-in-the-loop 是风险控制和持续学习机制,应根据风险分层触发: 低风险自动执行,中风险抽检,高风险强制确认。 HITL 反馈应该进入 eval、知识库和流程改进。
Common misunderstandings and corrections
- 误解: 大模型理解业务,所以可以直接上线。纠正: 生产系统还需要权限、流程、评估和治理。
- 误解: RAG 可以解决所有幻觉。纠正: RAG 主要降低知识缺失导致的幻觉,不能自动解决推理错误、检索错误和指令冲突。
- 误解: 上下文越长越好。纠正: 长上下文增加成本和延迟,也可能引入噪声和注意力稀释。
- 误解: Fine-tuning 可以把公司知识灌进模型。纠正: 高频变化的事实知识更适合 RAG。
- 误解: Agent 就是多轮聊天。纠正: Agent 是带工具、状态、计划、观察和执行控制的系统。
- 误解: CoT 输出越长越可靠。纠正: 长推理链可能提升复杂任务,也可能制造看似合理的错误解释。
- 误解: LLM-as-Judge 可以替代人类评审。纠正: 模型裁判必须用人类校准、抽检和偏差分析约束。
- 误解: 模型榜单第一,产品效果就最好。纠正: 产品效果还取决于任务匹配、延迟、成本、上下文、工具、评估和安全。
- 误解: Prompt engineering 是一次性文案工作。纠正: Prompt 是可测试、可版本化、可回归的系统配置。
- 误解: AI 安全就是过滤敏感词。纠正: AI 安全包括数据权限、注入攻击、防越权、工具安全、审计和人工升级。
- 误解: 模型输出带引用就一定可信。纠正: 引用可能错配、遗漏或被模型误用。
- 误解: 业务专家只需要给需求,不需要参与 eval。纠正: 业务专家必须定义 gold cases、评分标准、风险边界和升级规则。
Output artifacts
- Paper notes: 每篇论文一份 2-4 页中文解读,包含问题、方法、贡献、限制和产品映射。
- Concept diagrams: Transformer block、RAG pipeline、Agent loop、Eval loop、推理优化图。
- Architecture ADRs: 对 RAG、fine-tuning、agent tools、eval、guardrails、model routing 的决策记录。
- Eval examples: 至少 100 条任务样本,覆盖正常、边界、冲突、缺失、风险和安全场景。
- Explain-like-CTO scripts: 每个核心概念准备 3 分钟 CTO 解释稿。
- Interview answer bank: 每周至少沉淀 5 个技术产品混合面试题答案。
- Glossary: 建立 AI 架构术语表,包含 token、embedding、attention、RAG、agent、eval、guardrails。
- Decision trees: prompt vs RAG vs fine-tuning、small model vs large model、automation vs HITL。
- Risk register: 记录 hallucination、prompt injection、data leakage、tool misuse、model drift 等风险。
- Portfolio case study: 选择一个金融零售 AI 场景,做端到端架构说明和评估方案。
60 deep questions for future study
- Tokenization 如何影响中文、代码、表格和合同类文档的理解质量?
- 为什么 next-token prediction 能学习到世界知识和推理模式?
- Attention score 能否被当作模型解释性证据,边界在哪里?
- Multi-head attention 中不同 head 的功能是否稳定可解释?
- 长上下文模型为什么仍然需要 RAG?
- RAG 中 chunk size 应该如何根据业务文档类型决定?
- Metadata filtering 和 semantic search 如何组合才能减少权限穿透?
- Reranker 在企业 RAG 中通常解决什么问题?
- 如何判断一个 RAG 答案是检索失败还是生成失败?
- 为什么引用正确性需要单独评估?
- GPT-style decoder-only 模型为什么适合通用生成任务?
- BERT-style encoder 模型在 LLM 时代还有哪些不可替代场景?
- Instruction tuning 改变了模型的什么能力?
- RLHF 会不会让模型过度迎合用户?
- Constitutional AI 中的“原则”如何映射到企业政策?
- DPO 和 RLHF 在产品团队视角下有什么实际差异?
- Chain-of-Thought 是否应该展示给最终用户?
- Self-Consistency 的成本和准确率如何取舍?
- LLM-as-Judge 如何避免偏向长答案、流畅答案或同厂模型?
- Eval 数据集如何防止被 prompt 或模型过拟合?
- 一个企业 AI Copilot 的最小可用 eval 集应该包含什么?
- Agent 什么时候应该停止继续尝试?
- 工具调用失败时,模型应该重试、解释、升级还是回滚?
- 如何给 Agent 设计最小权限原则?
- 什么类型的业务动作必须 HITL?
- 如何把人工反馈转成下一轮系统改进?
- Fine-tuning 和 RAG 的混合方案适合哪些场景?
- LoRA 的低秩假设在业务适配中意味着什么?
- 小模型加好工作流能否替代大模型?
- Model routing 应该按任务、风险、成本还是用户等级决定?
- KV Cache 为什么能显著改善多轮对话性能?
- Speculative decoding 对输出质量有没有影响?
- FlashAttention 为什么是 IO-aware 而不仅是数学优化?
- MoE 模型的专家路由是否会带来稳定性问题?
- 长上下文、RAG、fine-tuning 三者如何组合?
- 如何估算 AI 功能的单位经济模型?
- 首 token 延迟和总完成时间哪个更影响用户体验?
- Streaming 会掩盖还是改善真实延迟问题?
- Prompt injection 和传统 SQL injection 的相似与不同是什么?
- 如何防止检索文档中的恶意指令影响模型?
- 企业知识库中的过期文档如何影响 RAG?
- 数据权限应该在检索前过滤还是生成后过滤?
- AI observability 应该记录哪些字段才足够复盘事故?
- 模型升级时应该如何做灰度和回滚?
- 如何设计“不能回答”的产品体验?
- 何时应该让模型给置信度,何时不应该?
- 模型的置信表达和真实正确率之间如何校准?
- 多 Agent 架构是否真的优于单 Agent 加工具?
- Agent planning 的中间状态应该对用户透明吗?
- AI 系统中的 memory 如何避免隐私和合规风险?
- 如何区分用户偏好、业务事实和长期记忆?
- 金融零售场景中 AI 推荐和合规建议的边界在哪里?
- 如何为 AI 生成的业务需求文档设计验收标准?
- AI BA 工具如何处理流程异常和例外规则?
- AI 架构 ADR 应该记录哪些模型和治理决策?
- 如何向 CTO 解释“模型能力”和“系统可靠性”的差距?
- 如何判断一个 AI 项目应该先做内部效率还是客户体验?
- 如何把红队测试常态化进产品迭代?
- AI 产品的北极星指标应该如何避免只看调用量?
- 当模型、数据、流程三者都可能出错时,如何定位根因?
Reading note template for every paper
论文基本信息
- Paper / Authors / Year / Link:
- 领域标签:
- 一句话总结:
这篇论文要解决什么问题
- 论文之前的主流做法是什么:
- 旧方法的关键瓶颈是什么:
- 作者真正想优化的目标是什么:
- 这个问题在今天的 AI 产品中对应什么痛点:
核心方法
- 输入、输出、核心架构:
- 训练目标:
- 关键机制:
- 和前一代方法相比改了什么:
关键图解
- 我需要重画的图 1:
- 我需要重画的图 2:
- 我需要用业务语言解释的图:
- 这张图在架构评审中可以怎么讲:
实验和证据
- 作者用什么 benchmark 证明有效:
- 指标代表什么:
- 实验是否能支撑作者结论:
- 今天看起来不足的地方:
局限性
- 作者自己承认的局限:
- 今天工程落地中的局限:
- 对成本、延迟、数据、安全、可解释性的影响:
- 哪些场景不应该直接套用:
产品和架构映射
- 对 PM 的启发:
- 对 BA 的启发:
- 对架构师的启发:
- 可以映射成哪些产品能力和系统组件:
- 需要哪些 guardrails 或 HITL:
面试表达与输出物
- 30 秒版本:
- 2 分钟版本:
- CTO 版本:
- 可能追问:
- 一页纸论文解读:
- 一张架构图:
- 一个业务场景案例:
- 一个 eval 样本:
- 一个 ADR 草稿: