M46 · 预习教材教材已备 ≠ 学习已完成

M46：奖励设计案例：正确性、格式、长度与 Judge 的捷径

奖励投机是策略提高可测代理分数，却没有改善甚至损害真实目标；它通常暴露的是奖励定义和评估边界，而不只是“模型不听话”。

2026-10-08reward-hacking、shortcut、judge-bias、specification-gaming、verifier

内容类型：预习教材（不代表已完成）
日期：2026-10-08
阶段：P1 · AI Model Engineering 90
周次：W7 · Preference、DPO、GRPO/RLVR 与奖励科学
节奏：周四案例与连接
状态：教材已备；学习未完成
标签：reward-hacking、shortcut、judge-bias、specification-gaming、verifier

一句话定义

奖励投机是策略提高可测代理分数，却没有改善甚至损害真实目标；它通常暴露的是奖励定义和评估边界，而不只是“模型不听话”。

学习目标

能分析正确性、格式、长度和 judge reward 的典型捷径。
能区分 reward hacking、普通泛化失败和 verifier 漏洞。
能用多指标、反例和保留集降低单一奖励被利用的风险。

核心知识

四类常见奖励各有盲区：

正确性奖励：若只检查最终答案，模型可偶然猜中、复制答案或产生不可审计过程；若检查过程，可能奖励冗长伪推理。
格式奖励：schema 合法容易验证，但合法 JSON 可以包含空值、循环措辞或错误事实。
长度奖励：鼓励详细可能快速演化为重复、填充或逃避结论。
Judge 奖励：LLM judge 可能偏好更长、更自信、特定语气或与自身答案相似的文本，也可能被回答中的提示注入影响。

reward hacking 与普通错误的差别在于系统性利用：策略找到稳定提高奖励的模式。Verifier 漏洞是规则实现与目标不一致，例如只验证代码能编译，不验证断言；泛化失败则可能在未见分布上出错，即使没有主动利用奖励。

机制/推导

Goodhart 风险可概括为：当代理指标成为优化目标，它与真实目标的原有相关性会下降。训练会把策略推向指标分布的极端，而那里恰是代理最不可靠的区域。

缓解不是简单增加更多 reward。可以采用：

硬约束与软偏好分离；
每个奖励分量独立记录，观察是否单项支配；
保留不用于训练的 adversarial probes；
使用不同来源 judge 或确定性 verifier 交叉检查；
对高奖励异常样例做人审，而不是只抽低分样例。

最小练习或观察步骤

从格式、长度、judge、结果正确性中选择两类偏差。
为每类写一个业务目标和一个可计算代理。
构造三个回答：真正优质、表面高分、明显失败；不要使用真实敏感数据。
按当前 reward 打分，观察表面高分回答能否超过优质回答。
只做一次最小修改，如增加事实一致性门控或长度上限，再重新排序。
设计一个训练中不公开的反例，以检测策略是否只学了规则表面。
记录仍无法由自动 reward 判断的部分。

常见误区

发现漏洞后继续叠加权重，最终总奖励无法解释。
把 judge 的自然语言理由当作无偏证据。
只测平均 reward，不查看高分样例的错误形态。
用同一个 judge 生成偏好、训练奖励并做最终评估。
认为规则无法被绕过，而不做边界与对抗样例。

金融 / Web3 / 文档场景连接

智能合约生成可通过编译器与测试获得强信号，但测试覆盖不足仍可被“通过”；合规摘要的 JSON schema 可验证格式，却不能证明引用与原文一致。更安全的组合是：字段存在门控 + 来源 ID 校验 + 数值重算 + 独立人工或模型审阅，且各项不互相补偿。

自检问题

合法 JSON 为什么可能是高奖励的失败答案？
reward hacking 与普通错误如何区分？
为什么应审查异常高分样例？
同一 judge 包办数据与评估会产生什么闭环偏差？

专业课程对齐

精读 ARENA 的 RLHF、reward model 与 reward hacking 相关单元，追踪代理指标被 policy 优化后为何会离开原有数据分布。
精读 HF TRL Quickstart 的 GRPO reward function 接口，确认多个 reward funcs 的输入、返回值与日志如何暴露可利用路径。
选读 Stanford CS224N 的 evaluation/alignment 课题，补充 judge 偏差与分布外评估视角。

深入学习提示

先用 ARENA 建立 Goodhart 风险图，再查 TRL 的真实 reward 代码边界。对正确性、schema、长度和 LLM judge 各写一个高分但低价值反例，并将总分拆成独立分量和硬门控。代码上检查 parser 失败、空输出、超长输出与 judge prompt injection 时是返回低分、高分还是异常；资源上记录每样本 judge 调用次数与 tokens。反例是增加五个高相关 reward 就声称实现多角度评估，或只抽查低分结果而不审核异常高分样本。

学后填写区

真实目标：
当前代理奖励：
两类可利用捷径：
一次最小修正：
自动奖励仍看不到的性质：