标签：DPO

RLHF 与 DPO：大模型对齐技术入门

预训练后的大模型只会续写文本，是对齐训练让它学会遵循指令、拒绝有害请求并给出有用回答。本文通俗介绍指令微调、RLHF 与 DPO 的基本流程、各自的优缺点，以及对齐带来的过度拒答、讨好用户等副作用。