概念导读
清华/上海交大等机构对 OPD 动力学的系统性研究，揭示成功 OPD 的必要条件、token 级别机制，以及恢复失败 OPD 的策略。
- 定义
- 核心发现
- 两个成功条件
- Weak-to-Strong Reverse Distillation 实验
- Token 级别机制
- 恢复失败 OPD 的策略
- Dense Token-Level Reward 的代价
- 实验结果
Rethinking OPD: Phenomenology, Mechanism, and Recipe
清华/上海交大等机构对 OPD 动力学的系统性研究，揭示成功 OPD 的必要条件、token 级别机制，以及恢复失败 OPD 的策略。
定义
该论文对 OPD 进行了全面的机制分析，从现象学（phenomenology）和底层机制（mechanism）两个层面回答"OPD 何时成功、为何成功"的问题。
核心发现
两个成功条件
OPD 要真正有效，必须同时满足： 1. Student/Teacher 思考模式兼容 — 两者的推理风格、思考路径需要可对齐 2. Teacher 必须有真正的新能力 — teacher 需具备 student 尚未掌握的推理能力，否则蒸馏退化
Weak-to-Strong Reverse Distillation 实验
- 同家族 1.5B/7B teacher 对 student 的分布不可区分
- 挑战了直觉上"更强 teacher 总是更好"的假设
- 表明同家族模型间可能存在能力天花板效应
Token 级别机制
- 成功 OPD 的本质是 high-probability tokens 的渐进对齐
- 97-99% 的概率质量集中在很小的 token 集合上
- OPD 的核心价值不在于学习新分布，而在于对已有高概率区域的精细化
恢复失败 OPD 的策略
- Off-policy cold start — 先用离线数据预热，再切换 on-policy
- Teacher-aligned prompt selection — 选择与 teacher 推理模式兼容的 prompt 子集
Dense Token-Level Reward 的代价
- OPD 的 dense token-level reward 提供精细监督，但有显著计算代价
- Long-horizon 任务中的可扩展性存疑
实验结果
- 系统验证了 OPD 失败和成功的边界条件
- 提供了可操作的"recipe"指导 OPD 实践
开放问题
- Dense token-level supervision 如何在 long-horizon 任务中高效扩展？
- 跨家族模型的 teacher-student 兼容性如何量化？
- 思考模式兼容性的理论基础是什么？