概念导读

复杂损失函数是否必要？ —— 系统性拆解 GRPO 组件，提出简化变体 RGRA 在 17/27 基准上超越 GRPO。

1. Overview
2. Key Contribution / 核心创新
3. RGRA: REINFORCE with Group Relative Advantage
4. GRPO 组件消融分析
5. Experimental Results
6. Math-English Benchmarks (Avg)
7. Chinese Math Benchmarks (Avg)
8. Key Numbers

Are Complicated Loss Functions Necessary for Teaching LLMs to Reason?

复杂损失函数是否必要？ —— 系统性拆解 GRPO 组件，提出简化变体 RGRA 在 17/27 基准上超越 GRPO。

Overview

GRPO (Group Relative Policy Optimization) 是当前 LLM 后训练的主流 RL 算法，结合了 group-relative advantage estimation、PPO-style clipping 和 KL regularization。本文系统性分析 GRPO 的每个组件是否必要，提出核心发现：

1. 负反馈不可或缺：仅用正优势训练 (GRPO-pos) 会导致训练崩溃
2. PPO-style clipping 不必要：去掉 clipping 和 policy ratio 不损害性能
3. Advantage estimation 至关重要：直接用原始 reward 的 REINFORCE 也会崩溃

基于此提出 RGRA (REINFORCE with Group Relative Advantage)：保留 group-relative advantage 但去掉 PPO-style 约束，在 17/27 任务上超越 GRPO。

Key Contribution / 核心创新

RGRA: REINFORCE with Group Relative Advantage

去掉 policy ratio 和 clipping，简化为经典 REINFORCE + group advantage：

∇_θ J_RGRA(θ) = E[1/G Σ_i 1/|o_i| Σ_t {
    ∇_θ log π_θ(o_{i,t}|q, o_{i,<t}) * Â_{i,t}
    - β ∇_θ D_KL[π_θ || π_ref]
}]

关键简化：无 r_{i,t} = π_θ/π_θ_old ratio，无 clip(r, 1-ε, 1+ε) 约束。

GRPO 组件消融分析

变体	描述	稳定性	性能
GRPO	完整 (ratio + clip + advantage)	稳定	基线
GRPO-pos	仅正优势 (负反馈设为0)	崩溃	显著下降
RGRA	去掉 ratio/clip，保留 advantage	稳定	超越 GRPO
REINFORCE	去掉 advantage，直接 reward	崩溃	差
RAFT	拒绝采样 + SFT	不稳定	中等

Experimental Results

Math-English Benchmarks (Avg)

Model	Base	GRPO	RGRA	GRPO-pos	RAFT
Qwen2.5-0.5B	19.8	25.6	26.5	17.0	8.7
Qwen2.5-1.5B	32.8	37.3	38.3	35.7	36.0
Llama3.2-1.0B	13.4	20.1	20.2	19.8	19.0

Chinese Math Benchmarks (Avg)

Model	Base	GRPO	RGRA	GRPO-pos
Qwen2.5-0.5B	38.5	51.4	55.1	41.4
Qwen2.5-1.5B	51.9	65.7	69.3 (CMATH+CN-MS)	65.3

Key Numbers

• RGRA 在 27 个对比中 17 个超越 GRPO
• GRPO-pos 在 0.5B 模型上 20 步内训练崩溃
• RGRA 保持训练稳定性和推理行为涌现
• 0.5B + GRPO-pos: GSM8K 从 41.5 降到 35.6（崩溃）
• 0.5B + RGRA: GSM8K 从 41.5 升到 53.1

Relation to Existing Work

• 直接简化 grpo：去掉 PPO-style clipping 不损失性能
• 与 ppo 形成对比：PPO 的 clipping 在 LLM 后训练场景中可能不必要
• 对 faithful-grpo 和 rl-post-training-scaling-laws 的启示：更简单的损失函数可能更高效
• 呼应 Ahmadian et al. (2024) "Back to Basics"：REINFORCE-style 优化在 LLM 中同样有效
• 实验基于 Qwen2.5 和 Llama3.2，模型规模较小 (0.5B-1.5B)

Related

• grpo
• ppo
• faithful-grpo
• rl-post-training-scaling-laws