确定性幻觉：解耦能力与校准的在线策略蒸馏

一句话定位

提出 CaOPD 框架，通过学生接地置信度目标替换，在保持能力蒸馏效果的同时解决 OPD 导致的系统性过度自信问题。

小学生也能听懂

这篇论文像教学生做题时，不仅学老师的答案，还用自己试做的成功率来判断信心，避免盲目自信，让AI既聪明又诚实。

为什么值得记录

揭示了现代 LLM 在能力提升训练（如 OPD）中普遍存在的‘误校准缩放律’：准确率提升伴随严重过度自信；
从信息不对称角度理论证明了教师特权上下文导致熵坍缩与乐观偏差的数学机制；
提出无需修改奖励函数或增加推理延迟的高效校准方法，在 Science Q&A 和 Tool Use 任务上实现帕累托最优校准；
在分布外泛化和持续学习场景下展现强鲁棒性，避免‘校准遗忘’现象；
为构建可信 AI 代理提供了关键不确定性建模工具，支持级联路由等实际应用。

核心方法

定义学生策略 πθ(·|x) 和教师策略 πθ(·|x,z)，其中 z 为训练时可用的特权上下文（如专家演示、环境反馈）；
引入显式置信度输出格式 y=(a,c)，将推理轨迹 a 与置信度段 c 分离；
计算学生接地经验置信度 μ̂(x) = (1/K)∑R(x,ak)，基于 K 个学生自身 rollout 的成功率估计真实部署成功率 μ(x)；
执行目标替换：保留教师推理轨迹用于能力克隆，但将置信度段 c 和教师上下文 z 中的置信度替换为 μ̂(x)；
使用标准反向 KL 散度进行蒸馏，但在置信度位置 t∈Ic 处优化学生接地目标，实现能力与校准的解耦；
在 SDPO/SDFT 等 OPD 框架中无缝集成，利用已有 rollout 降低额外计算开销。

关键结果

在 Qwen3-8B 上，CaOPD 将 SDFT 的过度自信差距（OCG）从 +32.0% 降至 -0.7%（Tool Use），实现近乎完美对齐；
在 Science Q&A 上，CaOPD 相比 SDFT 显著降低 ECE（0.266 vs 0.486）和 Brier Score（0.281 vs 0.477），同时保持或提升准确率；
在 Qwen3-8B + SDPO 设置下，CaOPD 达到 80.3% 准确率，ECE=0.141，优于 RLCR、CAR 等基于 RL 的校准方法，且无能力税；
在分布外迁移（Tool Use → Chemistry）中，CaOPD 的 ECE 比 SDFT 降低 40%（0.358 vs 0.599），SPR 提升至 0.662，避免校准崩溃；
在持续学习场景中，CaOPD 成功防止‘校准遗忘’，CT 阶段 ECE=0.126，显著优于 SDFT 的 0.513；
仅需 K=8 个 rollout 即可达到计算高效的最优校准效果，部署时为单次前向推理，延迟与基线相同。

局限与风险

依赖任务验证器 R(x,a) 来计算经验置信度，在缺乏明确 ground-truth 的开放域任务中需借助 Teacher-Anchored Self-Consistency 等替代方案；
小模型（如 0.6B）初期可能难以遵循置信度格式化指令，需依赖 CaOPD 的纠正信号逐步对齐；
经验置信度 μ̂(x) 的估计方差随 rollout 数量 K 减小而增大，K<8 时目标量化严重，可能导致校准性能下降；
当前实验主要聚焦于 Science Q&A 和 Tool Use 两个领域，更广泛的任务泛化性有待验证。

适合沉淀的概念

on-policy-distillation, confidence-calibration, scaling-law-of-miscalibration, entropy-collapse, optimism-bias, student-grounded-target, target-replacement, calibration-aware-distillation, information-asymmetry, empirical-success-rate

阅读注意

重点关注第 3 节的理论分析，理解信息不对称如何通过三个命题（非可识别性、熵坍缩、选择偏差）导致误校准；
注意 CaOPD 与 RL-based 校准方法（如 RLCR）的本质区别：前者通过目标替换解耦，后者通过奖励塑形引入能力-校准权衡；
图 2 展示了 CaOPD 如何同时实现准确率提升与校准损失收敛，是理解其机制的关键；
附录 D.3 的 rollout 数量消融实验揭示了目标粒度对校准的重要性，K=8 是性价比拐点；
表 10 对比了前沿 API 模型，凸显 CaOPD 在小模型上实现可比校准质量的潜力。

质量说明

采用来源：raw，raw/papers/2026/04/2604.16830.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的理论分析、算法设计、多维度实验验证（能力/校准/泛化/持续学习）、消融研究及定性案例，数据充分，论证严谨，复现路径清晰。