G08：Scaling Law 与预算几何

内容类型：预习教材（不代表已完成）
日期：2027-03-01
阶段：P3 · AGI Foundations 90
总路线：Day 188 / 360
周次 / 节奏：W2 · 周一概念与论文
状态：教材已备；学习未完成
主题：power law、参数/数据/compute、拟合区间与外推边界

一句话定义

Scaling law 是在给定模型族、数据分布、优化方式与计算区间内，损失随参数量、数据量或计算预算呈现近似规律变化的经验模型；它描述观测区间，不是智能必然增长或 AGI 日期预测公式。

学习目标

1. 能解释参数 N、训练 token D、计算量 C 与 loss 之间的经验关系。
2. 能理解为什么固定 compute 下只增大模型可能导致数据不足，compute-optimal 需要联合分配 N/D。
3. 能在 log–log 坐标中识别幂律斜率、不可约损失、残差与拟合区间。
4. 能列出 scaling 外推至少五个失效来源，不把微型实验推到 frontier 或 AGI 时间线。

核心知识

典型经验形式是 L(x)=L∞+A·x^{-α}，其中 x 可为模型规模、数据规模或计算量，L∞ 是在当前数据分布和目标下的不可约项。取对数后，若暂时忽略 L∞，有 log L ≈ log A - α log x，因此 log–log 图近似直线。真实数据不会完美服从直线：小模型可能欠拟合，训练预算可能不足，数据质量会变化，架构与优化器也会切换。

参数 scaling 只问增加容量的关联，数据 scaling 只问更多独立有效样本的关联，compute scaling 则把训练运算作为预算。训练计算常粗略近似 C≈kND，系数依架构和实现而异。固定 C 时，N 增大意味着可用 D 减少；若模型很大但只看少量 token，参数没有被充分训练。

Compute-optimal 不等于成本最优、推理最优或业务最优。训练阶段的最小 loss 配比可能带来昂贵推理；高质量数据的获取成本也不是 FLOPs 能表达。研究结果只能在其目标函数和约束下解释。

机制与推导

采用二维近似：

[ L(N,D)=L_\infty + A N^{-\alpha}+B D^{-\beta} ]

并约束 C=kND，代入 D=C/(kN) 得：

[ L(N|C)=L_\infty+A N^{-\alpha}+B(kN/C)^\beta ]

第一项随模型增大下降，第二项因数据减少而上升。对 N 求导并令零，可得到某个随 C 增长的最优 N*；具体指数取决于 α/β。推导的意义不是背答案，而是看见“模型越大越好”在固定预算下并不成立。

拟合时要区分 interpolation 与 extrapolation。在观测 x∈[x_min,x_max] 内预测是插值；推到 100x_max 是外推。即使区间内 R² 很高，也可能因为数据点少、同一训练配置相关或不可约项估错而产生错误外推。残差 r_i=L_i-\hat L_i 若随规模系统偏正或偏负，说明函数形式或训练充分性有问题。

一个 toy 反例：四个预算点都来自欠训练模型，loss 随参数先改善后变差。只选前三点可拟合漂亮幂律，加入第四点后结论改变。另一反例是数据质量随规模提升，观测斜率同时包含质量效应，不能归因于规模本身。

最小练习或观察步骤

1. 手工选择四个假想预算 C={1,2,4,8}，为每个预算列两个 N/D 分配，不需要训练模型。
2. 用二维损失式计算或估算哪个分配受到参数项、哪个受到数据项限制。
3. 在纸上画 log–log 图，加入一个 under-trained 异常点，观察直线拟合会怎样受影响。
4. 写出拟合协议：模型族、tokenizer、数据分布、优化步数、seed、观测区间和指标。
5. 为任何外推句补上“只在何种配置与范围内”，并列出一个可能导致斜率改变的机制。

常见误区与边界

• 把幂律当作自然定律；它是特定实验族中的经验近似。
• 忽略 L∞，在接近损失下限时仍按直线无限外推。
• 将参数量当作 compute；训练 token、序列长度和优化步骤同样决定成本。
• 只报告拟合曲线，不展示原始点、残差和配置变化。
• 从 loss scaling 直接推出 downstream 能力、意识或 AGI 时间。
• 把 compute-optimal 误写成总成本最优，忽略数据、推理、延迟与能耗。

研究/系统场景连接

金融零售模型扩大容量时，数据可能受法规、标签延迟和长尾事件限制。更大模型若重复消费相同历史样本，不能等同于获得更多独立信息。数据质量、时间覆盖和客群变化可能比参数更重要。业务决策还关心推理延迟、可解释性和单位交易成本，训练 loss 最优不等于系统最优。

对 Agent 而言，规模只是系统资源的一部分。检索、搜索、verifier 与工具能在测试时增加计算，形成与训练 scaling 不同的预算轴。W3 会专门研究这一点。当前只需建立纪律：任何 scaling 结论都附带观测区间、资源定义和不能外推的对象。

自检问题

1. 为什么固定 compute 下 N 与 D 存在竞争？
2. L∞ 在拟合和外推中有什么作用？
3. 高 R² 为什么不能自动保证远距离外推正确？
4. Compute-optimal 与部署总成本最优有哪些区别？
5. 哪些变量变化会使观测斜率不再是纯规模效应？

专业课程对齐

• 阅读 Scaling Laws for Neural Language Models，关注其经验关系、实验配置与适用区间，不把结论扩大为智能定律。
• 阅读 Training Compute-Optimal Large Language Models，比较固定 compute 下模型参数和训练 token 的联合分配。
• 参考 Stanford CS336 的语言模型训练主题，把 FLOPs、数据、优化与训练循环放在同一资源账本中。

深入学习提示

阅读论文图时先遮住拟合线，只看原始点：区间多宽、每个规模有几个运行、误差是否随规模改变、配置是否保持一致。然后再看曲线参数。若想继续，可推导带约束优化的指数关系，或用合成数据比较是否加入 L∞；无需为了精度跑大模型。真正要学的是“经验规律如何被条件化”，而不是记住某组已可能随方法变化的指数。

学后填写区

• 我写出的预算约束：
• 一个 under-training 反例：
• 我认为最危险的外推：
• 拟合必须固定的配置：
• 尚不理解的 scaling 问题：