概念导读
Salesforce AI Research 发现 OPD 会导致严重过置信（overconfidence），提出 CaOPD 解耦能力与校准。
- 定义
- 核心发现
- Scaling Law of Miscalibration
- 根因：信息不对称
- CaOPD: Calibration-Aware OPD
- 实验结果
- 开放问题
- Related
The Illusion of Certainty: Decoupling Capability and Calibration in OPD
Salesforce AI Research 发现 OPD 会导致严重过置信（overconfidence），提出 CaOPD 解耦能力与校准。
定义
该论文揭示了 OPD 中的一个关键缺陷：能力提升伴随着校准退化，并提出了校准感知的 OPD 变体 CaOPD。
核心发现
Scaling Law of Miscalibration
- OPD 提高 accuracy 但导致严重 overconfidence
- 存在系统性的 scaling law：模型越大、蒸馏越强，校准退化越严重
根因：信息不对称
- Teacher 拥有 privileged context（如验证过程、中间推理步骤）
- 部署时模型只有 deployment-time 信息
- Teacher-conditioned success 不是有效的 deployment-time confidence 目标
- 理论证明了这一信息不对称的根本性
CaOPD: Calibration-Aware OPD
- 用 student-grounded empirical confidence 替代 self-reported confidence
- 在蒸馏过程中显式优化校准目标
- 实现 Pareto-optimal calibration + competitive capability
实验结果
- CaOPD 在多个 benchmark 上实现校准-能力的 Pareto 最优
- 保持与标准 OPD 竞争性的 accuracy
- 显著改善置信度估计的可靠性
开放问题
- CaOPD 的计算开销如何？
- 是否适用于 self-distillation 场景（student=teacher）？
- 校准退化是否会随训练步数累积？