返回 Papers
学习计划 Roadmap

AGI Foundations 90:专业课程与原始研究参考地图

这份地图不是第五套并行计划。它把“AGI 基础”拆回 AI measurement、统计学习、强化学习、规划、持续学习、可解释性与安全控制等专业问题。课程提供概念和实现骨架,原始论文提供可核对的主张,逐日教材负责把两者缩小成本地可理解、可质疑的小问题。

148ai-deep-mastery/phase-3-agi/PROFESSIONAL_COURSE_REFERENCE_MAP.md

P3 · AGI Foundations 90:专业课程与原始研究参考地图

用途:为 G01~G90(AI Deep Mastery 总路线 Day 181~270)提供高校课程、公开课程与原始研究入口
核验日期:2026-08-23
执行边界:只选取能回答当天研究问题的讲次或论文片段;不要求完整修读外部课程,不复制外部作业,不把阅读量变成 Gate
认识论边界:本阶段研究 generality、reasoning、learning、planning、memory、adaptation 与 control,不预测 AGI 日期,也不把 benchmark、Agent demo 或 toy experiment 称为 AGI
进度边界:教材可以提前预制,但 P3 尚未启动;当前真实进度仍是 P1 · M01 · 0/90

这份地图不是第五套并行计划。它把“AGI 基础”拆回 AI measurement、统计学习、强化学习、规划、持续学习、可解释性与安全控制等专业问题。课程提供概念和实现骨架,原始论文提供可核对的主张,逐日教材负责把两者缩小成本地可理解、可质疑的小问题。

1. 专业课程主干

课程 / 官方入口主要学习价值P3 对应位置
Stanford CS321M · AI Measurement Scienceconstruct、validity、reliability、benchmark、measurement error、scaling 与治理W1、W2、W11、W12、G85~G89
Stanford CS336 · Language Modeling from Scratchscaling law、evaluation、数据、reasoning RL 与语言模型实验的资源核算W2、W3、W9、W12
Stanford CS234 · Reinforcement LearningMDP、Bellman、Q-learning、policy search、exploration、generalization 与 RLHF 基础W4、W5、W7、W11
Berkeley CS285 · Deep Reinforcement Learningmodel-free / model-based RL、planning、exploration、transfer、meta-learning 与研究项目方法W4、W5、W7、W8
Berkeley CS285 公开讲义policy gradient、Q-function、model-based learning、offline RL、meta/transfer 的逐讲材料W4、W5、W8
Stanford CS330 · Deep Multi-Task and Meta Learningmulti-task、meta-learning、domain shift、transfer、continual adaptation 与研究设计W7、W8
ARENA CurriculumTransformer mechanistic interpretability、evals 与 alignment science 的可运行学习路径W10、W11
Stanford HELM多场景、多指标、透明评测与模型比较边界W1、W11、G85~G89

使用原则

  1. 不按学校作业量执行:课程原作业可能需要大量 GPU、长训练或考试,本路线只提取当天能回答研究问题的最小机制。
  2. 不把课程地位当作结论权威:课程帮助建立术语和方法,具体主张仍回到实验设计、原始论文和反例。
  3. 不只读最新材料:经典论文用于理解机制,新材料用于理解当前争议;发布日期新不代表证据更强。
  4. 不把 toy result 外推到 frontier model:本地实验主要用于看清变量、统计误差、失败链与测量边界。

2. 原始研究与官方工具主干

研究入口本阶段怎样使用
Levels of AGI分开 performance、generality 与 autonomy,避免二元 AGI 标签
On the Measure of Intelligence用 skill-acquisition efficiency 思考未知任务适应,而不是只看固定任务高分
ARC-AGI研究程序化任务、先验、适应与污染边界;不把单榜排名等同 generality
Scaling Laws for Neural Language Models学习经验尺度关系、拟合范围、残差和外推禁区
Training Compute-Optimal Large Language Models区分参数规模、数据规模与 compute-optimal allocation
Emergent AbilitiesEmergence Mirage并列阅读“能力跃迁”与“度量造成表观跃迁”,设计 metric sensitivity test
Let's Verify Step by Step比较 outcome/process verifier,分析 false positive 如何污染搜索
MuZero理解表示、动力学、reward/value 与 search 的分工
DreamerV3研究 latent world model、imagined rollout 与跨任务学习,不把生成逼真度当控制质量
Melting Pot研究 unfamiliar partners、social generalization、合作与社会困境
EWC理解 stability–plasticity、参数重要性与 catastrophic forgetting
MAML理解“学习怎样学习”的优化目标和 adaptation split
Model Collapse研究递归合成数据的支持集、尾部与代际退化;不预设每次都会 collapse
Transformer Circuits从 attention pattern 进入 feature、circuit 与可证伪机制假设
Anthropic Circuit Tracing学习 attribution graph 与干预工具,同时保留方法覆盖和因果解释边界
Concrete Problems in AI Safety把 reward hacking、side effect、distribution shift 与 oversight 变成具体问题
AI Control区分训练时 alignment 与部署时 control,理解 monitor、audit 与 trusted fallback
AlphaEvolve研究 generate–evaluate–select–mutate 与可执行 verifier 的作用
AI Co-Scientist拆分假设生成、排序、实验、批判与人类责任,不把生成的新颖性当正确性

3. 十二周课程对照

W1 · AGI 定义、能力分解与测量有效性(G01~G07 / Day 181~187)

以 Stanford CS321M 的 construct、validity、reliability 与 measurement error 为主线,对照 Levels of AGIOn the Measure of Intelligence、ARC-AGI 与 HELM。核心不是定义一个漂亮总分,而是说明一个指标在测什么、漏掉什么、受哪些先验、污染和脚手架影响。

本周应能区分 task performance、task breadth、learning efficiency、robustness、autonomy 与 deployment risk;任何“达到 AGI”的主张先还原成 claim、measure、comparison、uncertainty 与 missing evidence。

W2 · Scaling Law 与涌现争议(G08~G14 / Day 188~194)

用 Stanford CS336 的 scaling/evaluation 讲次建立参数、数据、训练 compute 与 loss 的资源视角;并列阅读 Kaplan、Chinchilla、Emergent Abilities 与 Mirage。小实验关注拟合区间、残差、seed、连续指标和 threshold 指标。

需要明确:经验 power law 不是自然定律;观测区间的平滑趋势不能直接预测 AGI 日期;exact match 的阶跃也不能直接证明模型内部突然出现新算法。

W3 · 推理、搜索、Verifier 与 Test-Time Compute(G15~G21 / Day 195~201)

以 CS336 reasoning RL 与 evaluation 为背景,学习 direct generation、sampling、best-of-N、self-consistency、tree search、process/outcome verifier 和 adaptive budget。把成功率与节点数、token、时延、verifier precision/recall 一起观察。

最重要的反例是错误 verifier:搜索越强,越可能发现并放大评分漏洞。可见推理文本、隐式计算、外部搜索和参数学习属于不同机制,不能用“思考更久”笼统替代。

W4 · Reinforcement Learning 与 Model-Based RL(G22~G28 / Day 202~208)

Stanford CS234 提供 MDP、Bellman、Q-learning、policy search 与 exploration 基础,Berkeley CS285 补充 model-based learning、control 与 deep RL。先在 tabular Gridworld 手推,再比较 reactive、model-free、learned-model 与 oracle-model。

评价同时关注 return、sample efficiency、model error、OOD shift 与错误路径。高训练回报不证明 reward 表达了真实目标,learned model 的微小误差也可能经长 horizon planning 放大。

W5 · World Model、反事实与长程规划(G29~G35 / Day 209~215)

以 CS285 model-based RL 讲次串联 World Models、MuZero 和 DreamerV3。将 observation encoder、latent state、transition、reward/value、policy/search 分开,观察一步预测、多步 rollout、action ranking 与真实 return 是否一致。

“生成画面逼真”“预测下一帧准确”“能回答反事实”“有利于规划”是不同命题。toy POMDP 用来理解 belief 与 aliasing,不用于证明开放世界理解。

W6 · Memory、Planning 与 Tool Use(G36~G42 / Day 216~222)

从有限上下文、POMDP belief 和 Agent 状态机出发,区分 working、episodic、semantic、procedural memory,以及 internal context、external store 和 parameter memory。工具使用需额外说明 contract、权限、超时、幂等、验证与副作用。

本周的重点不是堆 RAG/Agent 框架,而是比较 no-memory、full transcript、retrieval memory 和 hierarchical state,并用结构化 event/state/action/result 重放失败。

W7 · 多智能体、合作与社会泛化(G43~G49 / Day 223~229)

使用 DeepMind Melting Pot 的陌生伙伴与 held-out social scenario 思路,结合 CS234/CS285 的多智能体基础。区分 coordination、cooperation、competition、negotiation、deception 与 collusion。

训练伙伴内协作不是社会泛化。评价应同时包含 individual utility、collective welfare、fairness、exploitability、communication cost 与 cross-play;更多 Agent 可能只带来 token、时延和协调失败。

W8 · Continual、Meta 与 Transfer Learning(G50~G56 / Day 230~236)

Stanford CS330 是主课程,Berkeley CS285 的 meta/transfer 讲次用于补充 RL 场景;EWC 与 MAML 作为两条不同机制线。比较 naive fine-tuning、replay、regularization、parameter isolation 与 meta-learning。

必须按单任务报告 forgetting、BWT、FWT、adaptation efficiency 和顺序效应,不能用最终平均分掩盖旧能力消失。In-context adaptation、parameter update 和 external memory update 也要分开。

W9 · 自改进、合成数据与递归风险(G57~G63 / Day 237~243)

连接 CS336 的数据与 reasoning RL、Self-Instruct/STaR、自奖励研究、model collapse 和 AlphaEvolve 的 verifier-bounded loop。将 generate、filter/evaluate、select、train/update、independent check 与 stop condition 分开。

每轮同时观察平均指标、tail recall、calibration、diversity、distribution distance 与 lineage。模型给自己更高分不是独立改进证据;同样也不能预设使用合成数据必然退化。

W10 · Mechanistic Interpretability(G64~G70 / Day 244~250)

ARENA 的 Transformer Interpretability 提供可运行练习路径,Transformer Circuits 与 Anthropic 研究提供 feature/circuit 假设和当前工具。逐步比较 attention inspection、probe、ablation、activation patching、SAE 与 attribution graph。

Probe 能解码信息不代表模型实际使用该信息;heatmap 不等于解释。先写 clean/corrupt 与 necessity/sufficiency 假设,再干预;toy circuit 的局部因果证据不能外推成“理解整个模型”。

W11 · Alignment、Control 与 Evaluation Science(G71~G77 / Day 251~257)

用 CS321M 与 HELM 设计能力/安全测量,用 ARENA Alignment Science、Concrete Problems 和 AI Control 建立 threat model、monitor、random audit、permission limit、trusted fallback 与 stop condition。

Alignment training、behavior evaluation、mechanistic evidence 和 deployment control 是互补层,不互相替代。未观察到 failure 只说明在给定测试分布与预算下未观察到,不能写成安全证明。

W12 · AI Scientist 与 General Learning Agent Lab(G78~G84 / Day 258~264)

把 CS321M 的 measurement、CS336 的实验/评测、CS234/285 的 agent learning 与 AlphaEvolve/AI Co-Scientist 串成 research question → hypothesis → falsifier → sandbox execution → independent verification → human decision。

只需选择 2~3 个组件或一个论文对照问题。Novelty、correctness、reproducibility、usefulness 与 safety 分开;无增益、复现失败和假设被否定也都是有效学习结果。

4. G85~G90:知识整合与 P4 桥接

  • G85:以 CS321M 的 construct/validity 重新画 generality、learning efficiency、planning、memory、adaptation、autonomy 与 risk 能力地图。
  • G86:连接 scaling → emergence → reasoning → test-time compute,说明连续指标、离散阈值和外推边界。
  • G87:连接 RL → world model → memory/tool → continual learning,标出状态、时间、反馈和误差传播。
  • G88:把 multi-agent、self-improvement、interpretability、alignment、AI scientist 分成 external evidence / conflict / hypothesis / speculation
  • G89:选择 1~2 个长期问题,每个只保留三篇起始材料、一个最小反例实验和明确暂不做内容。
  • G90:把 belief、world model、planning、control、permission 与 human takeover 转译到具身系统;不提前做真机实验,不设考试或答辩。

5. 推荐的每日使用方式

  1. 问题先行(5~10 分钟):先写一个可被反例推翻的问题,而不是先读结论。
  2. 主课程片段(20~40 分钟):选一个讲次或概念,只建立必要数学和算法骨架。
  3. 原始研究(20~40 分钟):优先摘要、方法、实验设置、限制和反例,不要求逐字读完全文。
  4. 最小机制(20~60 分钟):手推、伪代码、几十行程序、一个 toy environment 或一张因果图均可。
  5. 证据边界(10 分钟):写清结果能支持什么、不能支持什么,以及需要什么额外控制。
  6. 轻量复述(5 分钟):用自己的话解释机制,保留一个仍不懂的问题即可。

周日不补课、不做 Gate。外部课程的完整作业、测验、云端大训练和期末项目都不是本路线的默认要求。实际进入 P3 时,对滚动更新的课程、工具与研究主张再次核验;版本变化可以更新阅读材料,但不会自动改变 measurement validity、baseline、反例、权限和外推边界这些基本原则。