张量、梯度与 autograd
有限差分验证梯度,建立可复现实验基线
模型原理、训练与推理实验室 · 12 周主题学习 + 6 天知识整合
从“会设计可信 AI 系统”推进到“能解释模型如何学习、亲手训练和改变模型,并用实验判断规则、传统 ML、小模型或 LLM 中什么才是最小充分方案”。 本阶段是 360 天长期路线的 P1,以知识理解和小型实践为目标,不包含求职、投递或作品集包装。
确认 Python/CPU/MPS 环境;理解 tensor、计算图、链式法则、backprop 和 optimizer
2026-08-24 · 状态 ⬜ 未完成
启动基线为 0 / 90;AISA 已暂停,当前只维护这一份进度。
核心机制、公式或因果链、最小练习、常见误区、自检问题均已预置,并逐日对齐专业课程;教材就绪不计入真实完成进度。
Twelve-week roadmap
有限差分验证梯度,建立可复现实验基线
规则、Logistic、MLP 在同一数据上公平比较
BPE、Embedding、OOD 与领域表示消融
从现有 TypeScript 迁移到 PyTorch 并验证因果性
训练曲线、数据配比、过拟合与 scaling 小实验
用同一小样本理解 Prompt、Frozen 与 LoRA 的差异
DPO、GRPO / RLVR 信号与 reward hacking
KV Cache、精度、内存、TTFT 与 tokens/s
用干预区分行为证据、机制证据与业务解释
用代表性文档比较 OCR / Layout 与 VLM 的适用边界
图、异常或时序只选一项,让实验决定 LLM 的角色
规则、经典 ML 与可训练模型的最小充分方案
90 份教材内容已经预置;实验记录、个人理解和阶段复盘仍只在真实学习后填写,不预造完成结果。
docs/ai-model-engineering/notes/M01~M90 预习教材;学后在原文填写自己的理解
docs/ai-model-engineering/experiments/假设、配置、原始指标、失败与复现命令
docs/ai-model-engineering/reflections/W4、W8、W12 与最后六天的轻量知识复盘
在一个合成或公开金融任务上选择性比较规则、经典 ML 与可训练模型。重点理解不同方法为什么有效、何时值得使用;可以缩成 notebook、架构图或讲解稿,不要求完整 benchmark。