SCOPE：基于信号校准的双路径自适应加权策略优化

一句话定位

小学生也能听懂

这篇论文像给AI学生请了两个家教：一个教对的答案，一个改错的答案。它聪明地给不同题目打分，让AI更关注容易错的题，避免学偏，最终在数学题上考得更好。

为什么值得记录

解决了传统 OPD 方法中监督信号质量不均的问题，避免对低质量教师指导的盲目拟合
有效缓解了强化学习中常见的推理多样性退化（Pass@k 悖论）问题
在六个数学推理基准上实现平均 11.42% 的 Avg@32 和 7.30% 的 Pass@32 相对提升
为 on-policy 蒸馏提供了可解释的信号质量评估机制（困惑度作为代理指标）

核心方法

将 on-policy 生成的轨迹按结果正确性划分为正确集 Ω_c 和错误集 Ω_w
对正确轨迹采用学生困惑度加权的最大似然估计（MLE），强化低置信度但正确的‘非常规路径’
对错误轨迹采用教师困惑度加权的前向 KL 蒸馏，抑制高困惑度前缀带来的噪声指导
引入组内归一化机制（softmax over group），自适应校准每组 prompt 下的权重分布
整体目标函数为加权后的 MLE 与 OPD 损失之和，实现统一优化

关键结果

在 DeepSeek-R1-Distill-Qwen-1.5B 上，SCOPE 平均 Avg@32 达 55.2%，优于 OPD 基线 5.54%
在 Qwen3-1.7B-Base 上，Pass@32 平均提升 4.83%，显著缓解模式坍塌问题
Ablation 显示移除学生引导权重导致 Pass@32 下降 3.8%，移除教师引导权重导致 Avg@32 下降 0.9%
训练动态显示 SCOPE 维持更高策略熵，避免 GRPO 和 OPD 的过早收敛

局限与风险

依赖外部教师模型进行困惑度计算，增加约 2.8 倍单步训练时间（641.9s vs 227.5s）
当前实现为同步架构，教师打分与生成未并行，存在优化空间
温度参数 τ=1.0 需手动调优，极端值（0.5 或 2.0）会损害性能

适合沉淀的概念

on-policy-distillation, dual-path-adaptive-weighting, signal-quality-aware-training, reasoning-diversity-preservation, teacher-perplexity-weighting, student-perplexity-weighting, pass-k-paradox, flawed-prefix-trap

阅读注意

重点关注第 2 节的实证分析：Pass@k 悖论与错误恢复实验是方法设计的核心动机
公式 (4) 和 (5) 展示了如何利用困惑度构造反向/正向权重，体现‘质量感知’思想
附录 C 提供了高困惑度错误轨迹的定性案例，帮助理解‘上下文诱导噪声’现象
温度参数 τ 的影响分析（附录 B）揭示了权重锐化与泛化之间的权衡

质量说明

采用来源：raw，raw/papers/2026/04/2604.10688.md
生成模型：LongCat-Flash-Chat
源材料判断：论文结构完整，包含动机分析、方法设计、实验验证与消融研究，数据详实，结论可靠。