AI Model Engineering 90：专业课程参考地图
这份地图不是额外的并行计划。它解决两个问题：第一，逐日教材中的概念可以回到专业课程的知识脉络；第二，遇到解释过浅或仍然模糊的地方，可以找到比随机搜索更可靠的入口。
AI Model Engineering 90：专业课程参考地图
用途：为 M01～M90 教材提供高校课程、官方教程和开放课程的对照入口
核验日期：2026-08-23
执行边界：只按当天问题选读，不要求完整修完外部课程，不复制课程作业，也不把观看视频计作掌握
真实进度：仍只由docs/daily/AI_MODEL_ENGINEERING_PROGRESS.md记录
这份地图不是额外的并行计划。它解决两个问题：第一，逐日教材中的概念可以回到专业课程的知识脉络；第二，遇到解释过浅或仍然模糊的地方，可以找到比随机搜索更可靠的入口。
1. 核心课程与用途
| 课程 / 官方材料 | 最适合解决的问题 | 本计划主要使用位置 |
|---|---|---|
| MIT 6.S191 · Introduction to Deep Learning | 神经网络、反向传播、序列建模、生成模型和强化学习的全景入门 | W1、W4、W7、W10 |
| Stanford CS229 · Machine Learning | 概率、线性/逻辑回归、优化、泛化、正则化和经典 ML 基线 | W1、W2、W11、W12 |
| Stanford CS224N · NLP with Deep Learning | 词向量、反向传播、Transformer、预训练、后训练、PEFT 与 LLM 评测 | W3～W7、W9 |
| Stanford CS231n · Deep Learning for Computer Vision | 计算图、训练动力学、视觉表示、图像扰动和多模态视觉基础 | W1、W5、W10 |
| Stanford CS336 · Language Modeling from Scratch | tokenizer、Transformer、优化器、预训练、资源核算、推理与系统取舍 | W3～W8、M85～M90 |
| PyTorch Tutorials | tensor、autograd、nn.Module、训练 loop、profiling 和量化的官方实现语义 | W1、W4～W8 |
| Hugging Face LLM Course | tokenizer、Transformers API、数据处理、微调和模型使用边界 | W3～W7 |
| Hugging Face PEFT · LoRA | rank、alpha、target modules、adapter 配置与参数高效适配 | W6 |
| Hugging Face TRL | SFT、Reward Model、DPO、GRPO 等后训练接口和数据形状 | W7 |
| vLLM · PagedAttention | KV Cache、block 管理、吞吐、延迟和 serving 内存机制 | W8 |
| ARENA 开放课程 | Transformer from scratch、机制可解释性、RL、评测与 alignment 实验 | W4、W7、W9 |
| TransformerLens | activation cache、hook、ablation、patching 与因果干预 | W9 |
| Hugging Face Vision Course · VLM | 视觉编码器、跨模态对齐、VLM 训练目标和评估 | W10 |
| Stanford CS224W · Machine Learning with Graphs | 图结构、message passing、节点/边/图任务和图切分 | W11 图方向 |
| Full Stack Deep Learning 2022 | 何时使用 ML、实验管理、排错、部署、监控和完整学习闭环 | W12、M85～M90 |
| Stanford CS329S · ML Systems Design | 从目标、数据和模型选择到可靠、可扩展 ML 系统的迭代设计 | W12、M88～M90 |
2. 十二周课程对照
W1 · 张量、梯度与 autograd
- 先用 MIT 6.S191 Lecture 1 建立神经网络训练全景，只追踪输入、参数、损失和更新。
- 再读 CS229 的线性代数、概率和优化材料，手算标量与矩阵链式法则。
- 最后对照 PyTorch autograd 官方教程，把手算节点映射到 tensor、计算图、leaf、gradient accumulation 和 optimizer。
重点不是背 API，而是能解释：局部导数怎样组合成 vector-Jacobian product；为什么梯度计算、参数更新和梯度清零是三件事；数值异常最早出现在哪个节点。
W2 · 概率、经典 ML、校准与决策损失
以 CS229 的概率、监督学习、逻辑回归、正则化与模型选择为主线，再把 Google/项目中的混淆矩阵、Brier、ECE、阈值和拒答机制放回“概率估计 → 决策成本”链条。要区分 discrimination、calibration 和 decision policy：AUC 更高不自动代表固定复核容量下损失更低。
W3 · Tokenization、Embedding 与表示学习
- CS224N 的 Word Vectors 用于理解分布式表示与相似度。
- CS336 Assignment 1 / tokenization 课题用于理解 byte、BPE、vocabulary、压缩率与训练成本。
- Hugging Face LLM Course 用于核对 tokenizer 的工程行为：normalization、special token、padding、truncation 和 batch 输出。
阅读时始终记录“文本变化怎样影响 token 序列，再怎样影响模型长度、表示和任务误差”。
W4 · Transformer 第一性原理
以 CS224N Transformer 课程和 CS336 架构材料为骨架，用 ARENA 的 transformer-from-scratch 练习检查 Q/K/V、scaled dot-product、mask、multi-head、residual、normalization 与 FFN。每个组件都要回答：输入/输出 shape 是什么、移除后因果性或训练稳定性怎样改变、它解决的是表示、优化还是计算问题。
W5 · Tiny LM 预训练
CS336 是主课程：从 tokenizer、batch、cross-entropy、optimizer 到资源核算和 scaling。CS231n 的训练与调参材料用于理解初始化、正则化、过拟合和诊断。不要追求模型大小；优先读懂 train/validation curve、token budget、data mix、有效 batch 和一次只改变一个变量的实验逻辑。
W6 · SFT、LoRA / PEFT 与领域适配
先读 CS224N 的 Efficient Adaptation，再对照 LoRA 原论文概念和 Hugging Face PEFT 参数。理解 W + (alpha/r)BA、rank 上限、target module 与冻结基座的含义。Hugging Face LLM Course 用于数据整理和 tokenizer 边界。重点比较 prompting、retrieval、linear probe、full fine-tuning 与 LoRA 各自改变了什么，而不是默认训练 adapter。
W7 · Preference、Reward Science 与后训练
CS224N 的 Post-training 课题给出 SFT、RLHF、DPO 的关系；Hugging Face TRL 用来观察 trainer 需要的数据列、reference model、reward function 与训练指标；ARENA RL 章节帮助连接 policy、advantage、KL 与 reward。任何 reward 上升都要追问：奖励是否可被投机、验证集是否独立、格式奖励是否挤压任务质量。
W8 · 推理、量化与 Serving
CS336 的资源核算和系统材料用于估算权重、activation、KV Cache 与吞吐；vLLM PagedAttention 用于理解按 block 管理 KV Cache 的动机；PyTorch 官方资料用于观察 dtype、quantization 和 profiler。至少区分 prefill 与 decode、TTFT 与 inter-token latency、单请求速度与并发吞吐。
W9 · 机制可解释性与 Verifier
按 ARENA 的顺序学习：activation cache → attention/activation observation → hook → ablation/patching → circuit hypothesis。TransformerLens 负责工具语义。必须保持证据层级：可视化是相关证据，ablation 是有限干预证据，完整机制主张还需要替代解释、反事实和多样本复现。Verifier 只检验其规则覆盖的性质，不自动证明推理过程正确。
W10 · 多模态与文档智能
CS231n 提供视觉表示、数据扰动和评估基础；Hugging Face Vision Course 提供视觉编码器、projector、cross-attention、对比/生成/对齐目标。把文档链拆成 pixels → layout/OCR → fields/relations → evidence → decision，并分别测量旋转、模糊、遮挡、语言混合和冲突字段怎样传播错误。
W11 · 非 LLM 决策 AI
只选一个结构深入：图任务用 CS224W，表格/异常/分类用 CS229，序列任务用 CS229 与 PyTorch 官方示例。先定义预测单元、观察窗口和正确 split，再比较规则、统计 baseline 和小模型。LLM 只有在开放文本、特征草案、解释草稿或工具编排确有增量时才进入，而且必须由确定性组件或人工收口。
W12 · Financial Model Lab
FSDL 的 “When to Use ML”、实验管理和排错材料用于控制项目范围；CS329S 用于把 stakeholder objective、数据、模型选择、可靠性和维护成本连成设计循环；CS229 用于保持 baseline 公平。项目可以只做 A 级分析，也可以加一个最小比较，不要求完整平台或 benchmark。
3. M85～M90：怎样回看而不重新开一门课
- M85：用 CS336 的模型生命周期和 CS329S 的系统视角合并全景图。
- M86：只回看 W1～W4 中一个仍模糊的核心机制。
- M87：只回看 W5～W8 中训练、适配、reward 与 inference 的一条关系。
- M88：用 FSDL “When to Use ML” 和 CS329S 模型选择框架迁移到新场景。
- M89：把模型内部问题与 Phase 2 系统问题分开，形成问题树。
- M90：写下 10 个最重要联系和 3 个兴趣方向，不评分、不做考试。
4. 推荐阅读方法
每个学习日只选择一主一辅：
- 主材料 20～40 分钟：课程讲义或官方教程，回答当天核心问题。
- 辅材料 10～20 分钟：API 文档、课程另一种解释或原始论文摘要，用来校准术语。
- 最小实践 20～60 分钟：手算、几十行代码、一张曲线或一项干预。
- 复述 5～10 分钟：不看材料，用自己的话写出因果链和一个边界。
课程作业通常比本计划当天的轻量任务更重。除非当天明确想深入，不需要完成外部课程的整套 assignment、排行榜或最终项目。遇到课程版本更新时，以课程主页当前公开内容为准，并在自己的学后记录中注明实际使用的版本或日期。