Outcome Reward 不保证推理链可验证或因果重要 —— 对 RLVR 后训练根本性质的系统性质疑与改进方案。
- Overview
- Key Contribution / 核心创新
- CIR: Causal Importance of Reasoning
- SR: Sufficiency of Reasoning
- 三个核心发现 (R1-R3)
- Experimental Results
- Relation to Existing Work
- Related
Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning
Outcome Reward 不保证推理链可验证或因果重要 —— 对 RLVR 后训练根本性质的系统性质疑与改进方案。
Overview
RLVR (Reinforcement Learning from Verifiable Rewards) 已成为 LLM 后训练的标准范式，其核心假设是：outcome-based reward 能引导模型产生有意义的推理链。本文从根本上质疑这一假设，提出两个互补指标来衡量推理链质量：
- Causal Importance of Reasoning (CIR): 推理链是否真正因果地影响了最终答案
- Sufficiency of Reasoning (SR): 推理链是否足够自洽，使外部验证者仅凭推理链即可推导出答案
通过对 Qwen2.5 系列 (1.5B/3B/7B) 和 Llama3.2-3B 在 40 个 ReasoningGym 任务上的实验，作者发现 RLVR 虽然提升任务准确率，但 不保证 CIR 或 SR 的提升：40 个任务中 19 个 CIR 下降，17 个 SR 下降。
Key Contribution / 核心创新
CIR: Causal Importance of Reasoning
对问题 q、推理链 t=(t_1,...,t_T) 和答案 y，定义前缀截断后模型预测分布的变化：
CIR = (1/T) * Σ_{k=1}^{T} JS(Bernoulli(p_k) || Bernoulli(p_T))
其中 p_k = p_φ(y|q, t_{1:k})，p_T = p_φ(y|q, t_{1:T})。CIR=0 意味着 y⊥t|q，即答案完全独立于推理链。
SR: Sufficiency of Reasoning
通过验证者模型 θ 预测答案分布，比较有无问题的条件预测：
SR(q,t) = 1 if ŷ(q,t') = ŷ(t'), 0 otherwise
其中 t' 是去除显式答案后的推理链。SR=1 意味着推理链本身足以推导答案。
三个核心发现 (R1-R3)
R1: RLVR 不保证 CIR/SR 提升 - 40 个任务中 19 个 CIR 下降，17 个 SR 下降 - 仅在准确率提升 >50 分的任务上可靠提升 CIR/SR - 低 CIR/SR 任务上，去掉推理链训练效果相似（平均准确率差仅 -0.053）
R2: SFT 可修复低 CIR/SR - 少量专家推理轨迹 SFT (2-512 条) 即可大幅提升 CIR 和 SR - SFT-before-RL 策略有效：先教会模型如何推理，再用 RLVR 优化
R3: 辅助奖励可联合优化 - 将 CIR/SR 作为辅助奖励加入 RLVR，可在保持准确率的同时提升 CIR/SR - 无需专家轨迹数据
Experimental Results
| Finding | Quantitative Result |
|---|---|
| CIR 下降任务比例 | 19/40 tasks |
| SR 下降任务比例 | 17/40 tasks |
| CIR-SR 与准确率不相关 | Spearman ρ=0.17, p=0.31 |
| SR 与准确率弱相关 | ρ=0.57, p=0.0001 |
| 低 CIR/SR 下推理 vs 无推理差 | ΔAcc = -0.053 |
| SFT 2 样本 CIR 提升 | 从 ≈0.05 → ≈0.25 |
| 初始-最终 CIR 相关 | Spearman ρ=0.40 |
| 初始-最终 SR 相关 | Spearman ρ=0.62 |
Relation to Existing Work
- 与 free-process-rewards 互补：本文指出 outcome reward 的根本局限，而 process reward 是一种解决方案
- 直接挑战 self-distilled-rlvr 的假设基础：推理链质量不能被 outcome reward 隐式保证
- 对 rl-post-training-scaling-laws 的补充：scaling laws 关注准确率，本文提醒推理质量可能不随 scaling 提升
- 与 TRACE (Wang et al. 2025) 并行工作：CIR 类似但用于推理链质量评估而非 reward hacking 检测
- 呼应 Lanham et al. (2023) 的 faithfulness 发现：更高性能不代表更忠实的推理