Agent-R1：基于端到端强化学习训练强大的LLM智能体

一句话定位

提出 Agent-R1 框架，通过扩展 MDP 建模和模块化设计，实现 LLM 智能体在多轮交互任务中的端到端强化学习训练。

小学生也能听懂

这篇论文教大模型像玩游戏一样学习：把问题和工具调用变成“关卡”，用奖励机制让它一步步试错，最终学会多轮推理和精准使用工具找答案。

为什么值得记录

首次系统地将马尔可夫决策过程（MDP）框架扩展至 LLM 智能体，明确区分状态、动作、转移与奖励在静态生成与多轮交互中的差异
提出 Agent-R1 训练框架，支持多轮 rollout、过程奖励集成与精确信用分配，提升智能体在复杂环境中的决策能力
在 Multi-hop QA 任务上验证有效性，RL 方法显著优于基线（如 GRPO 平均 EM 达 0.3877，是 Naive RAG 的 2.9 倍）
通过消融实验证明 action mask 和 advantage mask 对策略优化的关键作用，为后续研究提供设计范式

核心方法

将 LLM 智能体的交互过程形式化为扩展 MDP：状态包含完整对话历史与环境反馈，动作可触发工具调用，状态转移区分生成与环境响应，奖励引入过程奖励与最终结果奖励
设计 Agent-R1 框架，核心模块包括 Tool（执行原子操作）与 ToolEnv（管理状态转移与奖励计算），实现环境交互的解耦与标准化
在 rollout 阶段支持多轮推理与工具调用，收集包含过程奖励的完整轨迹
引入 Action Mask 精确标识智能体生成的 token，用于对齐优势函数计算与策略梯度更新
在策略优化阶段，使用掩码后的优势进行 PPO/GRPO 等算法训练，确保信用仅分配给智能体可控行为
支持多种 RL 算法（PPO、GRPO、REINFORCE++ 等）与灵活环境集成，具备可扩展性

关键结果

在 HotpotQA、2WikiMultihopQA 和 Musique 数据集上，所有 RL 方法均显著优于 Base Tool Call 和 Naive RAG 基线
GRPO 表现最佳，平均 Exact Match (EM) 达 0.3877；PPO 在 out-of-domain Musique 上表现最强（EM=0.1552）
消融实验显示：禁用 loss mask 使 PPO 平均 EM 从 0.3719 降至 0.3022；禁用 advantage mask 使 PPO 平均 EM 降至 0.3136，证实掩码机制的关键性
框架成功训练出能有效调用 wikisearch 工具、进行多步推理的 LLM 智能体

局限与风险

实验仅基于 Qwen2.5-3B-Instruct 模型，未验证更大规模模型上的 scalability
任务局限于 Multi-hop QA，未测试更复杂的规划或长期记忆任务
过程奖励设计仍较简单，依赖人工定义的格式与答案匹配，缺乏自动评估中间步骤的通用方法
未与 SFT 或 DPO 等监督方法进行混合训练对比，端到端 RL 的增量价值需进一步验证

适合沉淀的概念

llm-agent-mdp-extension, multi-turn-reinforcement-learning, process-reward, action-mask, toolenv-design, credit-assignment-in-agents, end-to-end-rl-for-agents, modular-agent-training-framework

阅读注意

重点关注第2节对 MDP 组件的扩展定义，理解静态 LLM 与 LLM 智能体在状态、动作、转移和奖励上的本质区别
图2展示了 Agent-R1 的训练轨迹流程，是理解其多轮交互机制的核心
第3.1节详细说明了 Tool 与 ToolEnv 的职责划分，是框架可扩展性的关键设计
第4.3节消融实验数据揭示了 action mask 对性能的影响，值得深入分析
奖励函数设计（公式6）结合了答案准确性与格式正确性，体现了对智能体行为的双重约束

质量说明

采用来源：raw，raw/papers/2025/11/2511.14460.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的方法描述、实验设置与结果分析，包含消融研究，技术细节充分，可复现性强。