---
title: "2511.14460"
title_zh: "Agent-R1：基于端到端强化学习训练强大的LLM智能体"
arxiv_id: "2511.14460"
paper_type: "system"
source_kind: "raw"
raw_path: "raw/papers/2025/11/2511.14460.md"
generated: "2026-05-11"
model: "LongCat-Flash-Chat"
quality: "ok"
---

# Agent-R1：基于端到端强化学习训练强大的LLM智能体

## 一句话定位

提出 Agent-R1 框架，通过扩展 MDP 建模和模块化设计，实现 LLM 智能体在多轮交互任务中的端到端强化学习训练。

## 小学生也能听懂

这篇论文教大模型像玩游戏一样学习：把问题和工具调用变成“关卡”，用奖励机制让它一步步试错，最终学会多轮推理和精准使用工具找答案。

## 为什么值得记录

- 首次系统地将马尔可夫决策过程（MDP）框架扩展至 LLM 智能体，明确区分状态、动作、转移与奖励在静态生成与多轮交互中的差异
- 提出 Agent-R1 训练框架，支持多轮 rollout、过程奖励集成与精确信用分配，提升智能体在复杂环境中的决策能力
- 在 Multi-hop QA 任务上验证有效性，RL 方法显著优于基线（如 GRPO 平均 EM 达 0.3877，是 Naive RAG 的 2.9 倍）
- 通过消融实验证明 action mask 和 advantage mask 对策略优化的关键作用，为后续研究提供设计范式

## 核心方法

- 将 LLM 智能体的交互过程形式化为扩展 MDP：状态包含完整对话历史与环境反馈，动作可触发工具调用，状态转移区分生成与环境响应，奖励引入过程奖励与最终结果奖励
- 设计 Agent-R1 框架，核心模块包括 Tool（执行原子操作）与 ToolEnv（管理状态转移与奖励计算），实现环境交互的解耦与标准化
- 在 rollout 阶段支持多轮推理与工具调用，收集包含过程奖励的完整轨迹
- 引入 Action Mask 精确标识智能体生成的 token，用于对齐优势函数计算与策略梯度更新
- 在策略优化阶段，使用掩码后的优势进行 PPO/GRPO 等算法训练，确保信用仅分配给智能体可控行为
- 支持多种 RL 算法（PPO、GRPO、REINFORCE++ 等）与灵活环境集成，具备可扩展性

## 关键结果

- 在 HotpotQA、2WikiMultihopQA 和 Musique 数据集上，所有 RL 方法均显著优于 Base Tool Call 和 Naive RAG 基线
- GRPO 表现最佳，平均 Exact Match (EM) 达 0.3877；PPO 在 out-of-domain Musique 上表现最强（EM=0.1552）
- 消融实验显示：禁用 loss mask 使 PPO 平均 EM 从 0.3719 降至 0.3022；禁用 advantage mask 使 PPO 平均 EM 降至 0.3136，证实掩码机制的关键性
- 框架成功训练出能有效调用 wikisearch 工具、进行多步推理的 LLM 智能体

## 局限与风险

- 实验仅基于 Qwen2.5-3B-Instruct 模型，未验证更大规模模型上的 scalability
- 任务局限于 Multi-hop QA，未测试更复杂的规划或长期记忆任务
- 过程奖励设计仍较简单，依赖人工定义的格式与答案匹配，缺乏自动评估中间步骤的通用方法
- 未与 SFT 或 DPO 等监督方法进行混合训练对比，端到端 RL 的增量价值需进一步验证

## 适合沉淀的概念

`llm-agent-mdp-extension`, `multi-turn-reinforcement-learning`, `process-reward`, `action-mask`, `toolenv-design`, `credit-assignment-in-agents`, `end-to-end-rl-for-agents`, `modular-agent-training-framework`

## 阅读注意

- 重点关注第2节对 MDP 组件的扩展定义，理解静态 LLM 与 LLM 智能体在状态、动作、转移和奖励上的本质区别
- 图2展示了 Agent-R1 的训练轨迹流程，是理解其多轮交互机制的核心
- 第3.1节详细说明了 Tool 与 ToolEnv 的职责划分，是框架可扩展性的关键设计
- 第4.3节消融实验数据揭示了 action mask 对性能的影响，值得深入分析
- 奖励函数设计（公式6）结合了答案准确性与格式正确性，体现了对智能体行为的双重约束

## 质量说明

- 采用来源：`raw`，`raw/papers/2025/11/2511.14460.md`
- 生成模型：`LongCat-Flash-Chat`
- 源材料判断：论文提供了完整的方法描述、实验设置与结果分析，包含消融研究，技术细节充分，可复现性强。