概念导读
LLM Agent 能否自主设计、实现、运行完整的 RL pipeline 来改进 foundation model？
- 核心问题
- Benchmark 设计
- 关键发现
- 意义
- Related
Agent² RL-Bench
核心问题
LLM Agent 能否自主设计、实现、运行完整的 RL pipeline 来改进 foundation model？
Benchmark 设计
6 个任务，3 个层级： 1. Static rule-based training 2. Closed-loop online RL with trajectory collection 3. 完整 RL pipeline（数据 + 训练 + 评估）
关键发现
- ALFWorld: RL-only agent 从 5.97 → 93.28（SFT warm-up + GRPO）
- DeepSearchQA: 仅 +2.75（在噪声范围内）
- SFT pipeline 在固定预算下仍优于 online RL
- Driver LLM 选择对 interactive task 有巨大影响（同 scaffold 换 driver 从 0 到 +78pp）
意义
微软出品，首次系统评测 "AI 做 RL 后训练" 的能力。揭示了 agentic RL 的潜力和局限。