Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes

重访同策略蒸馏：经验性失败模式与简单修复

一句话定位

针对同策略蒸馏（OPD）中采样 token 方法的三大失败模式，提出基于教师 top-K 局部支持匹配的截断反向 KL 目标，结合 top-p 采样与特殊 token 掩码，提升优化稳定性与性能。

小学生也能听懂

这篇论文像教学生做题时，发现老师只讲一个答案容易出错，于是改成只讲最可能的几个答案，并避开奇怪符号，让学习更稳、成绩更好。

为什么值得记录

• 澄清了 token-level OPD 的理论权衡：虽相对于 sequence-level 反向 KL 有偏，但方差上界更优（O(T²) vs O(T⁴)），适合长序列训练。
• 系统识别了采样 token OPD 在实践中不稳定的三大原因：单 token 监督信号高度不平衡、学生生成前缀上教师指导不可靠、tokenizer 或特殊 token 不匹配。
• 提出的教师 top-K 局部支持匹配方法在单任务数学推理和多任务代理+推理训练中均显著优于标准采样 token OPD，平均性能提升达 +19.8%。

核心方法

• 将标准采样 token OPD 的单 token 对数概率差监督，替换为在教师 top-K 支持集上的截断反向 KL 目标。
• 在每个前缀上，选取教师模型概率最高的 K 个 token 构成支持集 S(c_{i,t})。
• 对支持集内的学生和教师分布分别进行重归一化，计算局部反向 KL 损失。
• 采用 top-p 采样生成 rollout，避免低概率 token 导致教师信号失效。
• 引入特殊 token 掩码，缓解因 tokenizer 不一致导致的虚假负样本问题。

关键结果

• 在单任务数学推理中，教师 top-K 方法（无掩码）平均分达 41.7，优于采样 token OPD（36.4）及其掩码版（40.7）。
• 在多任务交替训练中，教师 top-K 方法将数学平均分从 34.8 提升至 41.7（+19.8%），同时保持代理任务性能。
• 训练动态分析显示，新方法具有更低的梯度范数、更少的梯度裁剪和更高的策略熵，表明优化更稳定。
• 教师-学生对齐度（log-prob gap）更接近零，说明局部支持目标改善了整体对齐。

局限与风险

• 教师 top-K 支持匹配仍是一个不完美的任务成功代理，无法完全解决目标失配问题。
• 截断的 KL 目标本质上是带偏估计，且支持集大小 K 的选择需要权衡效率与信息量。
• 实验主要基于 Qwen 系列模型，结论在其他架构上的普适性需进一步验证。

适合沉淀的概念

on-policy-distillation, reverse-kl-divergence, token-level-estimator, sequence-level-estimator, teacher-top-k-support, truncated-reverse-kl, top-p-sampling, special-token-masking, gradient-variance, optimization-stability

阅读注意

• 关注第 2.1 节的理论分析，理解 token-level 与 sequence-level OPD 在偏差-方差权衡上的差异。
• 重点阅读第 2.2 节对三大失败模式的实证分析，特别是图 2、3、4、5 的解读。
• 注意第 3.1 节中支持集重归一化的必要性，这是稳定训练的关键。
• 查看附录 G.3 对五种 top-K 变体的比较，了解不同支持集构造方式的影响。
• 附录 H 的定性案例分析有助于直观理解采样 token OPD 的奖励黑客行为。

质量说明

• 采用来源：clean，papers/2026/03/2603.25562.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，包含理论分析、方法设计、多场景实验、消融研究和定性分析，数据详实，论证充分。