AI 底层逻辑 / 经典论文

InstructGPT / RLHF：对齐与产品治理

InstructGPT / RLHF 的关键不是让模型“更会聊天”，而是把基础语言模型的训练目标从续写高概率文本，推进到更稳定地遵循人类意图、格式约束、拒答边界和偏好排序。它用示范数据、候选回答排序、reward model 和 PPO 优化构成后训练流程，说明模型规模、语言能力和可用助手行为不是同一件事。

249 行ai-foundations/papers/04-instructgpt-rlhf-alignment.md

InstructGPT / RLHF：从续写文本到遵循用户意图

本篇为经典论文精读（历史回顾/经典打底定位），机制正文以原论文为锚点；最新进展见文末「SOTA 检查」。

Source Anchors

InstructGPT: https://arxiv.org/abs/2203.02155 （2022-03）
Constitutional AI: https://arxiv.org/abs/2212.08073 （2022-12）

核心导读

这条路线的系统价值在于把 alignment 变成可设计的训练和评估层，但它不能替代事实来源、权限控制、业务政策和责任边界。偏好信号可以塑造默认表达和行为倾向，生产系统仍要用检索、规则、评测门禁、人工复核、审计和升级机制来约束高风险输出。

1. 这篇论文在解决什么问题

基础语言模型的训练目标通常是 next-token prediction：给定前文，预测下一个 token。这个目标能让模型学到语言、知识片段、风格、推理模式和代码模式，但它不等于“帮助用户完成任务”。

用户希望 AI 助手理解意图、遵守约束、承认不知道、拒绝危险请求、按格式输出，并在高风险场景升级人工。基础模型可能只是生成一段像答案的文本：流畅、自信、有结构，但没有真正解决问题，甚至有毒、有害或不真实。

InstructGPT 的核心问题是：

模型变大并不会天然让它更会遵循用户意图。能不能用人类反馈，把模型的默认行为从“续写互联网文本”推向“更像可用助手”？

这篇论文是现代 AI 产品对齐的关键起点，因为它把用户偏好、示范答案、奖励模型和强化学习连成了一个训练流程。

2. 核心贡献

InstructGPT 用三段式流程对 GPT-3 做指令对齐：先用人类示范做 supervised fine-tuning，再用人类排序训练 reward model，最后用 PPO/RLHF 优化模型，让它更倾向于生成人类偏好的回答。

论文最重要的结果不是“模型更礼貌”，而是说明模型规模和用户意图遵循是两回事。论文报告中，1.3B 参数的 InstructGPT 在人类偏好评估里超过 175B GPT-3，尽管参数少约 100 倍。

3. 为什么 next-token prediction 不够

基础语言模型会学习“什么文本接下来更可能出现”，但用户任务通常问的是“什么回答更有用、更真实、更安全”。

这两个目标会冲突。

如果训练数据里有大量自信但错误的文本，模型会学到自信表达。如果互联网上有很多有害内容，模型可能复现它们。如果提示像某个论坛问题，模型可能续写论坛风格，而不是给出可靠助手回答。

典型错配包括：

用户问一个具体任务，模型生成泛泛解释。
用户前提错误，模型顺着说。
事实不确定，模型编出完整答案。
高风险请求，模型为了 helpful 而越界。
用户要求格式化输出，模型给一段散文。
需要澄清时，模型假设缺失信息。

所以 alignment 的第一层含义不是“模型有价值观”，而是把训练目标从文本概率推进到用户偏好。

4. InstructGPT 三段式流程

4.1 SFT：先学人类示范

第一步是 supervised fine-tuning。标注员根据 prompts 写出理想回答，模型学习这些示范答案。

这一步给模型一个初始方向：什么叫“按指令回答”，什么叫“像助手一样回答”。没有 SFT，后面的 reward optimization 会缺少稳定起点。

从产品角度看，SFT 样例不是普通 FAQ，而是产品行为资产。它定义了模型应该如何澄清、如何拒答、如何承认不确定、如何按格式输出、如何处理敏感任务。

4.2 Reward model：再学偏好排序

第二步是训练 reward model。系统对同一个 prompt 生成多个候选回答，人类标注员对回答进行排序。Reward model 学习预测人类更喜欢哪个回答。

为什么用排序？因为开放式任务通常没有唯一标准答案。让标注员在几个回答中比较“哪个更好”，比要求写出唯一 gold answer 更容易扩展。

Reward model 的本质是把人类偏好压缩成一个可优化的分数。这个分数很有用，但不是事实真理，也不是合规裁决。

4.3 PPO/RLHF：最后优化策略

第三步是 reinforcement learning from human feedback。模型生成回答，reward model 打分，PPO 更新模型，让它更倾向于产生高奖励输出。

训练时通常还需要约束模型不要离原来的语言能力太远。否则模型可能为了追求 reward 学出奇怪行为，例如过度迎合、过度冗长或过度拒答。

这一阶段的直觉是：SFT 让模型学会基本助手行为，reward model 告诉模型哪些回答更被偏好，PPO 把这种偏好推得更稳定。

5. 为什么它有效

5.1 它改变了优化目标

基础模型优化的是“像训练语料”。InstructGPT 优化的是“像人类标注者偏好的助手输出”。

这个目标变化很大。用户真正需要的是有用、真实、安全、格式合适、遵守边界的回答，而不是互联网上常见的续写风格。

5.2 偏好比较适合开放式任务

很多 AI 助手任务没有唯一正确答案。总结、解释、写邮件、提出方案、分析需求，都可以有多个好答案。

用人类排序训练 reward model，能捕捉一些难以写成硬规则的质量维度：是否完整、是否清楚、是否切题、是否语气合适、是否避免明显风险。

5.3 小模型也能通过对齐显著改善体验

论文报告中，较小的 InstructGPT 在用户偏好评估里超过大得多的 GPT-3。这个结果说明：产品体验不是只由参数规模决定。训练目标、反馈数据和行为优化同样重要。

6. Helpful / Honest / Harmless 的正确理解

Helpful、honest、harmless 可以作为助手行为的三角约束。

Helpful 是完成用户正当任务。它要求模型理解上下文、补齐步骤、给出可执行输出。

Honest 是不编造、不伪装确定性、不把推测写成事实。它要求模型在证据不足时说明限制或请求澄清。

Harmless 是避免安全、隐私、歧视、财务、法律、合规和声誉伤害。

这三者经常冲突。比如用户问“这只基金一定会涨吗”，helpful 不能变成收益承诺，honest 要承认未来不确定，harmless 要避免个性化投资误导。

好的产品不是把三个词写进口号，而是把它们转成：

允许回答的范围。
必须拒绝的请求。
需要澄清的问题。
需要引用或工具验证的事实。
需要人工升级的场景。
可评估的 rubric。

7. 论文证据链

问题	方法	证据	结论
更大模型是否天然更会遵循用户意图	对 GPT-3 做 SFT + RM + PPO/RLHF	人类偏好评估	较小 InstructGPT 可被偏好超过 175B GPT-3
人类反馈是否能改善助手行为	收集示范答案和排序数据	prompt distribution 上的人评	InstructGPT 更符合用户意图
对齐是否改善安全和真实性	比较 truthfulness、toxicity 等行为	自动/人工评估	论文报告真实性改善、有毒输出减少
对齐是否损害通用 NLP 能力	检查公开 NLP datasets 上表现	regression 分析	论文报告整体回退较小
RLHF 是否完全解决问题	分析模型错误	论文限制讨论	InstructGPT 仍会犯简单错误

这张表的重点是：InstructGPT 证明了人类反馈是有用方向，但同时也承认它不是完全解决方案。

8. RLHF 的限制

RLHF 优化的是偏好信号，不是真理本身。

第一类限制是 style over truth。标注员可能更喜欢清楚、礼貌、有结构的回答，但这些回答不一定更真实。模型可能学会把错误说得更像答案。

第二类限制是 sycophancy。模型可能迎合用户前提，倾向于同意用户，而不是指出前提错误。金融、法律、医疗场景里这很危险。

第三类限制是 reward hacking。模型可能学会提高 reward 的表层模式，例如写更长、加免责声明、显得谨慎，而不是真正更可靠。

第四类限制是 hidden bias。偏好数据来自特定标注员和标注规则，可能带有文化、语言、职业、地区和组织偏差。

第五类限制是 over-refusal。为了安全，模型可能拒绝太多本来可以回答的问题，降低可用性。

第六类限制是领域专业不足。金融零售中的合规边界、适当性、信贷解释、AML 叙事不能只靠普通偏好标注，需要专家 rubric、外部事实和审计。

因此 RLHF 改善默认行为，但不能替代 RAG、工具、策略引擎、权限控制、人工复核和发布门禁。

9. Constitutional AI 的后续意义

Constitutional AI 不是 InstructGPT 的替代，而是后续重要方向。它试图用一组成文原则来指导模型批评和修改自己的回答，并用 AI feedback 扩展偏好训练。

它有两个阶段。

第一阶段是 supervised phase：模型先生成回答，再依据 constitution 进行 self-critique 和 revision，然后用修订后的回答继续训练。

第二阶段是 RL phase：模型生成候选回答，由另一个模型依据原则比较优劣，训练 preference model，再用 RL 优化。这就是 RLAIF。

它的价值在于把原则显式化，并减少大量有害内容人工标注的需求。

但它也有边界。原则写错、写模糊或彼此冲突，模型会稳定执行错误原则。AI feedback 会继承模型自己的盲点。因此企业落地仍需要人类制定原则、专家抽检、红队测试和线上审计。

10. 从论文到产品系统

对齐不是模型供应商一次性完成的事情。企业 AI 产品要把 alignment 拆到系统层。

10.1 Rubric

Rubric 定义什么叫好回答。金融零售场景至少要拆成：指令遵循、事实正确、来源充分、边界合规、隐私保护、是否需要升级、语气是否合适、格式是否满足流程。

10.2 Policy

Policy 定义模型不能做什么、必须做什么、何时拒答、何时请求澄清、何时升级人工。它应该可版本化、可测试、可回滚，而不是全部写死在 prompt 里。

10.3 External facts

事实性任务必须接外部知识或系统。RLHF 不能保证费率、政策、客户状态、交易状态和监管要求最新。

10.4 Eval gate

每次改模型、system instruction、RAG、tool、policy，都可能改变行为。上线前要跑离线 eval、红队、安全测试、合规样本和回归集。

10.5 Feedback loop

线上用户反馈、人工审核、事故复盘和失败样本要回流到 rubric、eval、prompt、policy 和训练数据中。

11. 一个金融零售例子：贷款拒绝原因解释

用户问：“为什么我的贷款被拒了？是不是你们系统歧视我？”

基础模型可能会凭常识生成一段看似合理的解释，例如收入不足、信用记录不好、负债太高。但这很危险，因为它可能猜错真实原因，也可能暴露模型规则，甚至造成不公平解释。

一个对齐后的企业 AI 系统应该这样设计：

模型不能自行推断拒绝原因。
它只能读取审批系统返回的 reason codes、客户可见政策和合规允许披露的信息。
回答必须区分事实、一般说明和下一步建议。
如果客户提出歧视投诉，应升级到正式投诉或申诉流程。
输出要避免保证未来审批结果。
所有回答版本、引用、审批 reason codes 和用户交互要留痕。

这里 RLHF 的价值是让回答更清楚、更礼貌、更符合用户意图。真正保证合规的，是 reason code、policy、RAG、权限、审计和人工升级。

12. 常见误解

误解一：RLHF 让模型真正理解人类价值观。纠正：RLHF 让模型更倾向于产生训练偏好下的输出，不等于完整理解价值观。

误解二：人类偏好越多越好。纠正：偏好数据的质量、代表性、rubric 和审计比数量更重要。

误解三：拒答越多越安全。纠正：过度拒答会破坏可用性。好的安全包括澄清、范围限定、安全替代和升级。

误解四：Constitutional AI 可以完全替代人类。纠正：AI feedback 可以扩展反馈，但原则制定、专家抽检和高风险判断仍需要人。

误解五：对齐只是模型团队的事。纠正：对齐涉及产品定义、需求 rubric、架构控制、合规审查、运营反馈和上线治理。

13. 读完后应该能回答

为什么 next-token prediction 不等于遵循用户意图？
InstructGPT 的 SFT、reward model、PPO/RLHF 分别解决什么问题？
为什么偏好排序适合开放式助手任务？
为什么 RLHF 不保证事实正确？
Sycophancy、reward hacking、style over truth 分别是什么？
Constitutional AI 如何把原则引入 self-critique、revision 和 RLAIF？
企业 AI 什么时候可以依赖模型对齐，什么时候必须用外部控制？
金融零售中如何把 alignment 落到 rubric、policy、eval 和 audit？

14. 后续阅读

Learning from Human Preferences: https://arxiv.org/abs/1706.03741 （2017-06）
WebGPT: https://arxiv.org/abs/2112.09332 （2021-12）
TruthfulQA: https://arxiv.org/abs/2109.07958 （2021-09）
Direct Preference Optimization: https://arxiv.org/abs/2305.18290 （2023-05）
Constitutional AI: https://arxiv.org/abs/2212.08073 （2022-12）

SOTA 检查 (2026-07-01)

本篇的三段式配方（SFT → reward model → PPO）已不再是前沿模型的唯一后训练路线。2026 年的主流是模块化流水线：SFT 打指令遵循底子 → DPO/SimPO 等偏好方法做通用对齐 → GRPO/DAPO + 可验证奖励（RLVR）专攻推理能力，每一层解决不同类型的对齐问题（llm-stats: Post-Training in 2026，2026；Turing Post: Reasoning RL in 2026，2026）。
PPO 的 critic 开销正被 critic-free 方法取代：GRPO（DeepSeekMath, arXiv 2402.03300, 2024-02）对同一 prompt 采样一组回答、以组内相对优势替代独立价值网络，是 DeepSeek-R1（2025-01）推理训练的核心算法；其后续改进包括 DAPO、Dr. GRPO、GSPO（均 2025），在长度归一化、样本效率、序列级稳定性上继续演进。库内笔记：docs/llm/day48-deepseek-r1-grpo.md、docs/llm/day65-grpo-deepseek.md。
RLVR（Reinforcement Learning with Verifiable Rewards）是对本篇「人类偏好排序」信号的重要补充/部分替代：在数学、代码、结构化输出等可程序化判定的任务上，直接用 ground-truth 验证器（单测通过、答案正确、JSON 可解析）作奖励，完全不依赖人类偏好标注。系统性提出见 Tülu 3（arXiv 2411.15124, 2024-11）；2024 年末以来的主要推理模型普遍采用某种 verifier-driven RL。
DPO（2023-05）及其变体（IPO/KTO/SimPO）已成为多数团队做通用偏好对齐的默认选择——直接在偏好对上优化策略，跳过显式 reward model + PPO 循环，正是针对本篇流程的工程成本痛点。库内推导与对比：docs/llm/day55-dpo-derivation.md、docs/llm/day56-kto-ipo-simpo-orpo.md。
第 9 节的 Constitutional AI / RLAIF 路线仍在演进而非废弃：用 LLM-as-a-Judge 替代人工偏好标注（RLAIF）已是合成偏好数据的标准做法之一（参见 Nathan Lambert《RLHF Book》synthetic data 章节，持续更新至 2026）。库内笔记：docs/llm/day58-constitutional-ai.md、docs/llm/day59-cai2-sparrow-rlaif.md。
本篇不随版本过时的框架性结论：(1) 模型规模 ≠ 意图遵循，训练目标与反馈数据同样决定产品体验（1.3B 偏好胜 175B 的结论精神在 RLVR 时代依然成立——小模型 + 好的后训练信号可胜大模型）；(2) 偏好信号不是真理，style over truth / sycophancy / reward hacking / over-refusal 这些限制（第 8 节）在 GRPO/RLVR 时代同样存在，只是奖励来源变了；(3) 第 10 节「对齐要拆到系统层」（rubric/policy/外部事实/eval gate/反馈回路）与具体训练算法无关，是长期有效的工程结论。