---
title: "Rethinking OPD: Phenomenology, Mechanism, and Recipe"
created: 2026-04-26
updated: 2026-04-26
type: concept
tags: [distillation, on-policy, rl, reasoning]
sources: [raw/papers/2026/04/2604.13016.md]
---
# Rethinking OPD: Phenomenology, Mechanism, and Recipe

清华/上海交大等机构对 OPD 动力学的系统性研究，揭示成功 OPD 的必要条件、token 级别机制，以及恢复失败 OPD 的策略。

## 定义

该论文对 OPD 进行了全面的机制分析，从现象学（phenomenology）和底层机制（mechanism）两个层面回答"OPD 何时成功、为何成功"的问题。

## 核心发现

### 两个成功条件
OPD 要真正有效，必须同时满足：
1. **Student/Teacher 思考模式兼容** — 两者的推理风格、思考路径需要可对齐
2. **Teacher 必须有真正的新能力** — teacher 需具备 student 尚未掌握的推理能力，否则蒸馏退化

### Weak-to-Strong Reverse Distillation 实验
- 同家族 1.5B/7B teacher 对 student 的分布**不可区分**
- 挑战了直觉上"更强 teacher 总是更好"的假设
- 表明同家族模型间可能存在能力天花板效应

### Token 级别机制
- 成功 OPD 的本质是 **high-probability tokens 的渐进对齐**
- 97-99% 的概率质量集中在**很小的 token 集合**上
- OPD 的核心价值不在于学习新分布，而在于对已有高概率区域的精细化

### 恢复失败 OPD 的策略
- **Off-policy cold start** — 先用离线数据预热，再切换 on-policy
- **Teacher-aligned prompt selection** — 选择与 teacher 推理模式兼容的 prompt 子集

### Dense Token-Level Reward 的代价
- OPD 的 dense token-level reward 提供精细监督，但有显著计算代价
- Long-horizon 任务中的可扩展性存疑

## 实验结果
- 系统验证了 OPD 失败和成功的边界条件
- 提供了可操作的"recipe"指导 OPD 实践

## 开放问题
- Dense token-level supervision 如何在 long-horizon 任务中高效扩展？
- 跨家族模型的 teacher-student 兼容性如何量化？
- 思考模式兼容性的理论基础是什么？

## Related
- [[on-policy-distillation]]
- [[kl-divergence-in-distillation]]
- [[reasoning-distillation]]