2509.02547

大语言模型中的智能体强化学习：综述

一句话定位

本文系统梳理了将强化学习应用于大语言模型以构建自主智能体的范式演进，提出从传统单步偏好优化（PBRFT）到多步部分可观测马尔可夫决策过程（POMDP）驱动的智能体强化学习（Agentic RL）的理论框架，并从能力维度和任务维度构建双重分类体系。

小学生也能听懂

这篇论文像搭积木一样，把大语言模型变成能自己思考、用工具、记事情、做计划的小机器人，教它们通过试错学习完成复杂任务，还整理了所有相关研究和工具，帮大家更好地理解和发展这种聪明的小机器人。

为什么值得记录

• 首次形式化区分传统LLM RL与Agentic RL，提出基于MDP/POMDP的理论建模框架，澄清领域核心概念
• 构建双重分类体系：按智能体核心能力（规划、工具使用、记忆、推理、自我改进、感知）和任务类型（搜索、代码、数学、GUI、视觉、具身、多智能体）系统组织研究进展
• 整合超过500篇近期工作，提供开源环境、基准测试与训练框架的实用汇编，推动研究可复现性
• 深入讨论可信性、可扩展性、机制解释、部署架构等关键挑战，指明未来发展方向

核心方法

• 提出Agentic RL的形式化定义：将LLM视为在POMDP中运行的策略网络，状态空间包含环境动态，动作空间融合文本生成与工具调用，奖励函数支持稀疏任务奖励与密集子奖励结合
• 建立PBRFT与Agentic RL的对比框架：前者为退化单步MDP（T=1），后者为多步POMDP（T>1），强调部分观测、状态转移不确定性与长期信用分配
• 设计能力导向分类法：将Agentic RL能力解构为规划、工具使用、记忆、推理、自我改进、感知六大模块，分析RL在各模块中的优化机制
• 构建任务导向分类法：覆盖搜索研究、代码生成、数学推理、GUI操作、视觉任务、具身智能、多智能体系统等八大应用领域，归纳各场景下的RL应用模式
• 系统梳理开源基础设施：汇总Web、GUI、代码、科学等领域的模拟环境与RL训练框架（如EasyR1、MARTI），提供实践指南

关键结果

• 提出并形式化Agentic RL的POMDP建模框架，明确其与PBRFT在状态空间、动作空间、奖励机制和学习目标上的本质差异
• 构建双重分类体系，涵盖6大核心能力与8类典型任务，系统组织超过500篇相关研究，填补领域综述空白
• 识别关键趋势：RL正从单轮对齐转向多轮自适应行为优化，推动LLM从被动生成器向主动决策者演进
• 指出当前局限：多数研究仍局限于孤立能力或定制环境，缺乏统一评估协议与跨域泛化能力

局限与风险

• 综述范围聚焦于文本与多模态Agentic RL，对纯非语言RL智能体（如传统机器人控制）覆盖有限
• 尽管整合了大量开源资源，但工业级闭源系统（如OpenAI Deep Research）细节披露不足，影响分析深度
• 对RL算法在超大规模模型上的计算效率与稳定性挑战讨论仍偏宏观，缺乏定量实证比较

适合沉淀的概念

agentic-reinforcement-learning, pomdp-modeling-for-llms, planning-in-llm-agents, tool-use-with-rl, memory-augmented-rl, self-improvement-via-rl, reward-design-for-agents, multi-agent-rl-systems, rlhf-vs-agentic-rl, open-source-rl-frameworks

阅读注意

• 重点关注第2节对PBRFT与Agentic RL的形式化对比，理解范式转变的理论基础
• 第3节按能力分类的讨论揭示了RL如何赋能LLM的内在机制，适合深入研读
• 第4节任务分类展示了RL在不同应用场景下的具体实现模式，可结合案例理解
• 第5节环境框架汇编具有较高实用价值，建议收藏作为工具参考
• 第6节挑战分析直指领域痛点，对未来研究选题具有指导意义

质量说明

• 采用来源：clean，papers/2025/09/2509.02547.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，结构清晰，覆盖全面，引用丰富，具备高质量综述特征。虽部分工业系统细节缺失，但整体信息充分，适合生成研究卡片。