问答导读
Question: on policy distillation相比sft的话有什么优势啊？指标差距多大
- ✅ 核心优势（vs SFT）
- 📊 指标差距（Qwen3 系列，Avg@12）
- 🔬 关键原因分析
- 💡 结论
- Related
on policy distillation vs sft
Question: on policy distillation相比sft的话有什么优势啊？指标差距多大
根据 Wiki 中 [src: raw/papers/2601.18734.md]（Self-Distilled Reasoner）的详细实验结果，on-policy distillation（OPSD）相比 SFT 的优势和指标差距如下：
✅ 核心优势（vs SFT）
| 维度 | SFT（Off-Policy） | OPSD（On-Policy Self-Distillation） |
|---|---|---|
| 数据分布 | 固定专家轨迹，存在 exposure bias 和分布偏移 | 学生自己采样轨迹，on-policy 消除分布偏移 |
| 学习信号 | 硬标签（hard token），稀疏 | 稠密 token-level 软分布监督（full-vocabulary logit） |
| 教师模型 | 无（直接模仿） | 同一模型，利用 ground-truth 答案做 privileged teacher |
| 泛化性 | 容易 memorization，泛化弱 [chu2025sft] | 通过 rationalization 提升泛化 |
| 训练效率 | 高（单样本） | 更高（单 rollout，1024 tokens vs GRPO 的 8×16k） |
📊 指标差距（Qwen3 系列，Avg@12）
| Model | Base | +SFT | +OPSD | OPSD vs SFT 提升 |
|---|---|---|---|---|
| Qwen3-8B | 61.8 | 59.8 ⬇️ | 64.8 ✅ | +5.0 |
| Qwen3-4B | 61.2 | 58.6 ⬇️ | 63.6 ✅ | +5.0 |
| Qwen3-1.7B | 37.1 | 35.8 ⬇️ | 43.4 ✅ | +7.6 🔥 |
⚠️ 注意：SFT 在 OpenThoughts 数据集上反而性能下降（因 concise solution 导致推理长度缩短），而 OPSD 通过 rationalization 将 concise answer 转化为稠密学习信号，显著提升。
🔬 关键原因分析
- SFT 的 exposure bias：训练时用专家轨迹，推理时用自己的输出，错误会累积。
- OPSD 的 dense feedback：每个 token 都有 teacher 的 soft distribution 指导，即使最终答案错误也能学到中间推理。
- Per-token KL clipping：防止 style token 主导训练（见 Table 5），聚焦 math token 学习。
- Token efficiency：OPSD 100 steps × 1024 tokens vs GRPO 500 steps × 8×16k tokens，效率提升 ~64x。
💡 结论
OPSD 在所有模型尺度上均显著优于 SFT（+5~7.6 Avg@12），且训练效率远高于 GRPO。SFT 在高质量 reasoning 数据上可能因风格迁移导致性能退化，而 OPSD 通过 self-rationalization 规避了这个问题。
Related
- on-policy-self-distillation — OPSD 方法本体。
- per-token-kl-clipping — OPSD 中稳定 token 级 KL 的关键技巧。
- exposure-bias — SFT 相比 OPD 的核心问题之一。