概念导读
将 OPD 扩展到 long-context 场景，通过自蒸馏扩展 LLM 有效上下文长度。
- 定义
- 核心方法
- Long-Context OPD 扩展
- 上下文长度扩展机制
- 与 OPD 的关联
- 实验结果
- 开放问题
- Related
OPSDL: On-Policy Self-Distillation for Long-Context Language Models
将 OPD 扩展到 long-context 场景，通过自蒸馏扩展 LLM 有效上下文长度。
定义
OPSDL 应用 on-policy self-distillation 技术来扩展语言模型的有效上下文窗口，解决长上下文理解和生成中的退化问题。
核心方法
Long-Context OPD 扩展
- 标准 OPD 主要针对短序列推理任务
- OPSDL 将 OPD 的 student-rollout + teacher-feedback 范式应用到长上下文序列
- 通过自蒸馏（self-distillation），模型学习在长序列上保持推理一致性
上下文长度扩展机制
- 在长上下文中进行 on-policy rollout
- Teacher（同一模型的不同 checkpoint 或增强版本）提供 token 级别反馈
- 逐步扩展模型能可靠处理的上下文长度
与 OPD 的关联
- 延续了 OPD 的 on-policy 训练范式
- 自蒸馏场景下 on-policy-self-distillation 的长上下文变体
- 与 rethinking-opd 中讨论的思考模式兼容性相关
实验结果
- OPSDL 有效扩展了模型的可用上下文长度
- 在长上下文基准上显著优于标准 SFT
开放问题
- 自蒸馏在 long-context 下的梯度稳定性如何保障？
- 上下文扩展是否存在理论上限？
- 与 RoPE scaling、ALiBi 等位置编码方法的兼容性？