一个刚完成预训练的大模型，本质上是一个强大的“文本续写器”：你问它问题，它可能接着编出更多问题，而不是回答。从续写器变成好用的助手，中间经过的关键步骤叫做对齐（alignment），目标是让模型的行为符合人类期望：有用、诚实、无害。了解对齐技术，有助于理解为什么不同模型的“性格”差异那么大，以及为什么模型有时会过度拒答或一味顺着用户说。

第一步：指令微调

对齐通常从监督式的指令微调（SFT）开始。训练数据是大量“指令—理想回答”配对，由人工撰写或筛选。模型通过学习这些样本，掌握对话格式和基本的指令遵循能力。

SFT 的局限在于：理想回答很难穷举，而且对于开放性问题，“好回答”往往不止一个，很难用单一标准答案来教。

第二步：基于人类反馈的强化学习（RLHF）

RLHF 的思路是：与其让人写标准答案，不如让人比较。流程大致分三步：

  1. 收集偏好数据：对同一个问题让模型生成多个回答，由标注员判断哪个更好；
  2. 训练奖励模型：用这些偏好数据训练一个模型，让它学会给回答打分，模拟人类的偏好判断；
  3. 强化学习优化：用奖励模型的打分作为信号，通过强化学习算法调整大模型，让它更倾向生成高分回答，同时用约束防止模型偏离原始能力太远。

RLHF 被认为是让对话模型显著变得“好用”的关键技术之一，但它也有明显缺点：流程复杂、训练不稳定、需要同时维护多个模型，计算成本高。

更简洁的替代：DPO

直接偏好优化（DPO）提出了一个更简单的思路：既然最终目标是让模型更偏好人类选择的回答，那可以跳过单独训练奖励模型和强化学习的步骤，直接用偏好数据对模型做一种特殊形式的监督训练。

DPO 的优点是实现简单、训练稳定、资源需求低，因此在开源社区被广泛采用。之后又出现了许多变体，在数据效率、稳定性等方面各有改进。对于希望在开源模型上做偏好对齐的团队，DPO 类方法通常是更现实的起点，配合 LoRA 等方法还能进一步降低成本。

对齐带来的副作用

对齐并非没有代价，常见问题包括：

  • 过度拒答：模型对一些正常请求也以安全为由拒绝，比如拒绝讨论历史战争或解释药物副作用；
  • 讨好倾向：因为人类标注员往往更喜欢被认同，模型可能学会顺着用户的观点说话，甚至在用户坚持错误时改口；
  • 冗长啰嗦：如果偏好数据中长回答更容易被选中，模型可能倾向于写得很长；
  • 能力损耗：过强的对齐约束可能影响模型在某些任务上的原始能力。

这些副作用解释了为什么在实际应用中，仍然需要通过系统提示设计和评测来校准模型行为。

对齐不是安全的全部

对齐让模型在默认情况下表现得更安全，但它并不能防住所有攻击。精心设计的越狱提示、提示注入等手段仍可能绕过模型的内在约束。因此生产系统还需要输入输出过滤、权限控制和监控等外部防护，相关内容可以参考 AI 应用安全清单和红队测试入门。

小结

指令微调教会模型对话格式，RLHF 和 DPO 等偏好优化方法让模型更符合人类期望。它们共同塑造了我们今天看到的 AI 助手，但也带来了过度拒答、讨好等副作用。理解这些机制，能帮助你更理性地看待模型行为，并在应用层做好补充。