G33：预测准确率、Action Ranking 与真实 Return 的错位

内容类型：预习教材（不代表已完成）
日期：2027-03-26
阶段：P3 · AGI Foundations 90
总路线：Day 213 / 360
周次：W5 · World Models、反事实与长程规划
节奏：周五知识图谱更新
状态：教材已备；学习未完成
标签：task-relevance、action-ranking、return、value-equivalence、evaluation

一句话定义

预测—控制错位是指 world model 在平均观测或转移指标上更准确，却没有更好地保存决策所需的价值差异，因而 action ranking 和真实 return 可能不升反降。

学习目标

1. 解释 prediction loss、counterfactual accuracy、action-ranking quality 与 environment return 的因果位置。
2. 用 action margin 与 value equivalence 推导“更准确”何时不等于“更会规划”。
3. 设计同一数据上的多模型比较，避免只选对自身有利的指标。
4. 建立证据链，明确相关性观察、干预结果和跨环境外推的不同强度。

核心知识

• Observation prediction 优化所有可见变量；控制只需要那些影响奖励与可达性的变量。背景纹理可能占据大量 loss，却不改变任何动作。稀有警告灯像素占比很小，却可能决定是否停止。
• Action-conditioned counterfactual 是比被动 next-step prediction 更强的要求：模型要对多个未执行动作给出可区分后果。若数据由单一行为策略采集，许多 state-action 对没有支持，预测准确率主要反映常走路径。
• Value equivalence 不要求两个模型重建同一世界细节，而要求在给定策略或规划集合中导出相同价值与最优动作。它是相对任务和 policy class 的概念，不是宣称“模型已理解世界”。
• Return 是模型、planner、reward、搜索预算和环境共同产生的系统指标。return 变好不能单独证明模型更正确；模型指标变好也不能保证 planner 能利用它。
• 研究报告应至少形成四层：数据分布与覆盖、预测/校准、决策排序、真实环境结果。跳过中间层会让失败无法归因。

机制与推导

设真实动作价值为 (Q(a))，模型估计为 (\hat Q(a)=Q(a)+\epsilon_a)。二动作情形下，真实 margin 为 (m=Q(a_1)-Q(a_2)>0)。模型选错当且仅当：

[ \epsilon_{a_2}-\epsilon_{a_1}>m ]

因此相同的平均绝对误差会在小 margin 状态造成更多排序翻转。评估时应按 margin 分层，而不是只报告全局 RMSE。进一步，若 observation loss 是加权和：

[ L_{pred}=\lambda_{bg}L_{background}+\lambda_{task}L_{task} ]

当背景维度远多于任务变量时，即便每维权重相同，降低背景误差也会主导总 loss，却几乎不改变 (\hat Q)。可以构造两个模型：A 精确预测背景但漏掉危险标志，B 忽略背景却准确预测危险转移；A 的 MSE 更低，B 的控制更安全。

排序可用 pairwise accuracy 或 Kendall (\tau)；决策代价可用 regret；环境结果可用 return distribution 与 failure rate。三者关系不是等价：排序错在近似等价动作上，regret 很小；排序只在稀有高损失状态错，平均 return 可能掩盖风险。建议同时记录：

[ \text{PairAcc}=\frac{1}{|P|}\sum_{(i,j)}\mathbb 1[(Q_i-Q_j)(\hat Q_i-\hat Q_j)>0] ]

以及按状态组别的 (\text{Regret}(s)=Q(s,a^*)-Q(s,\hat a))。这些公式是诊断工具，不构成预设通过线。

最小练习或观察步骤

1. 给 toy 环境观察加入 20 维随机背景与 1 个低频危险变量，确保只有危险变量改变奖励或转移。
2. 训练或手工构造三个 predictor：全维 MSE、对任务变量加权、只保留任务充分状态。保持 planner 相同。
3. 在 IID 轨迹、未见 action sequence 与危险变量频率上移三种切分中，记录 prediction loss、calibration、pairwise ranking、regret 与 return。
4. 按 oracle action margin 划分小、中、大三组，观察预测误差与动作翻转的关系；不要在看到结果后移动分组阈值而不说明。
5. 做一次干预：只打乱背景变量，再只打乱危险变量。若行动发生不同变化，可提供 task relevance 的因果线索。
6. 画一张“数据覆盖→预测→排序→行动→return”证据图，在每条箭头标明是测量、假设还是干预支持。

常见误区与边界

• 用最低 validation loss 自动选择用于控制的模型，没有 task-aware 或 action-aware 评估。
• 把 return 提升全部归因于 representation，忽略 planner 搜索预算、reward shaping 或数据变化。
• 只在行为策略动作上测预测，不测试替代动作，因而没有真正检验反事实能力。
• 看到 latent 可线性解码某变量，就断言 planner 使用了它；可解码性不等于因果使用。
• 用单一平均 return 隐藏罕见灾难状态、方差与失败率。
• value equivalence 只相对任务、奖励和规划集合成立，不能推广为完整现实模型或普遍理解。

研究/系统场景连接

反欺诈模型可能极准地预测“下一页面”或常见交易类别，却漏掉对冻结决策关键的少数账户接管信号。系统应把世界模型的输出定位为受限情景预测，不把总体 accuracy 等同于决策可靠性。Agent 工具规划中，模型能预测工具返回文本的表面格式，也未必理解副作用、幂等键或权限拒绝；应以候选工具调用的结果排序、确定性 stub 回放与真实只读 sandbox 验证。金融场景尤其要单列尾部损失和人工升级，不让平均收益掩盖客户伤害。

自检问题

1. 一个更低 observation MSE 的模型为什么可能有更差 return？
2. action margin 如何影响相同价值误差造成的决策后果？
3. pairwise ranking、regret 与 return 分别位于证据链哪一层？
4. 怎样用背景干预检验 task relevance，而不是只看相关性？
5. value-equivalent 模型的结论依赖哪些任务边界？

专业课程对齐

• 阅读 MuZero 原始论文，关注其模型预测 reward、value 与 policy 而非完整 observation 的设计，用来思考 task-relevant representation。
• 阅读 DreamerV3 原始论文，追踪 imagined return 如何连接 latent dynamics 与行为学习，并记录哪些结论来自其任务范围。
• 对齐 Stanford CS234 的 value function、planning 与 evaluation 内容，用相同 planner 做公平对照，不追加高压作业。

深入学习提示

进一步可研究 bisimulation、value-aware model learning 与 causal representation，但先问它们相对哪个 reward 和 action set 定义。把实验设计成反例生成器：寻找“loss 改善而排序变差”“排序改善而 return 不变”“return 改善但模型未变”三类情形。找到其中任一类都比追求漂亮单指标更能训练研究判断。

学后填写区

• 实际比较的模型与固定变量：
• prediction、ranking、regret、return 的观察：
• 一个指标错位案例：
• 干预支持或反驳了什么：
• 外推边界：
• 尚未理解的问题：