概念导读
研究 token 级别重要性在 OPD 中的作用，发现并非所有 token 位置对蒸馏效果贡献相同。
- 定义
- 核心发现
- Token 级别重要性差异
- 重要性评估方法
- 对 OPD 的启示
- 实验结果
- 开放问题
- Related
TIP: Token Importance in On-Policy Distillation
研究 token 级别重要性在 OPD 中的作用，发现并非所有 token 位置对蒸馏效果贡献相同。
定义
TIP 系统分析了 OPD 中不同 token 位置的重要性差异，为差异化 token 级监督提供理论基础。
核心发现
Token 级别重要性差异
- 不是所有 token 位置都同等重要
- 某些 token（如推理关键步骤、决策节点）对蒸馏效果的影响远大于其他 token
- 均匀对所有 token 施加 KL 约束可能浪费计算资源，甚至引入噪声
重要性评估方法
- 论文提出了量化 token 级重要度的方法
- 重要性分布呈现显著的长尾特征：少数 token 承载了大部分蒸馏信号
对 OPD 的启示
- 选择性聚焦重要 token 可提升蒸馏效率
- 与 per-token-kl-clipping 和 entropy-aware-on-policy-distillation 的思路互补
实验结果
- 论文验证了 token 重要性分布的假设
- 基于重要性的选择性蒸馏可在减少计算量的同时保持性能
开放问题
- Token 重要性是否具有跨模型、跨任务的泛化性？
- 如何在训练中动态估计 token 重要性？
- 与 SCOPE 的 per-trajectory routing 如何结合？