概念导读

LLM 后训练的本质是 结构化的行为干预 (structured intervention on model behavior)，而非孤立的方法选择。论文提出按 trajectory provenance（轨迹来源）组织整个后训练领域。

1. 核心论点
2. 统一框架
3. 两条主线
4. 三种功能角色
5. 对各范式的解读
6. 关键洞察
7. 与 Wiki 内容的关联
8. Related

LLM Post-Training 统一视角

核心论点

LLM 后训练的本质是 结构化的行为干预 (structured intervention on model behavior)，而非孤立的方法选择。论文提出按 trajectory provenance（轨迹来源）组织整个后训练领域。

统一框架

两条主线

1. Off-policy Learning: 在外部提供的轨迹上学习（SFT、DPO、蒸馏）
2. On-policy Learning: 在学习者自己生成的轨迹上学习（RLHF、RLVR、on-policy distillation）

三种功能角色

1. Support Expansion (支持扩展): 让模型触及新的有用行为

2. SFT 可以充当此角色（当监督数据超出模型当前能力时）

3. Policy Reshaping (策略重塑): 在已有行为范围内改善质量

4. Preference-based methods 多为 off-policy reshaping

5. On-policy RL 在 learner-generated states 上改善行为

6. Behavioral Consolidation (行为巩固): 跨阶段/模型迁移保持行为

7. Distillation 最好理解为此角色，而非仅仅是压缩

对各范式的解读

方法	轨迹来源	功能角色
SFT	Off-policy	Support expansion 或 Policy reshaping
DPO	Off-policy	Policy reshaping
RLHF/PPO	On-policy	Policy reshaping (+ support expansion under strong guidance)
RLVR	On-policy	Policy reshaping (verifiable rewards)
Distillation	混合	Behavioral consolidation
Hybrid pipelines	混合	多角色协调组合

关键洞察

• SFT 的角色取决于 监督数据与模型当前能力的对齐程度
• 简单任务：SFT = policy reshaping；新能力：SFT = support expansion
• Hybrid pipeline 的必要性来自不同阶段解决不同瓶颈
• On-policy RL 的局限: 评估器可靠性和外部行为导入有限
• Progress 越来越依赖协调的系统设计，而非单一目标函数

与 Wiki 内容的关联

• 为 on-policy-distillation 提供了理论统一框架
• 与 grpo-rl-training 的 RL 范式形成互补
• strong-to-weak-distillation 是 behavioral consolidation 的典型实例
• qwen3-omni 的 Thinker post-training（SFT → distillation → GSPO）正是 hybrid pipeline

Related

• on-policy-distillation
• grpo-rl-training
• strong-to-weak-distillation
• qwen3-omni
• reinforcement-learning-from-human-feedback