SWE-Shepherd：基于过程奖励模型的代码智能体强化方法

一句话定位

提出 SWE-Shepherd 框架，利用过程奖励模型（PRM）为代码智能体提供细粒度中间步骤反馈，提升其在真实软件工程任务中的决策效率与质量。

小学生也能听懂

这篇论文像给写代码的小机器人配了个“小老师”，在它每做一步（比如改代码或运行测试）时打分，告诉它这一步好不好，让它更快学会解决问题，还省力气。

为什么值得记录

解决了现有代码智能体缺乏中间决策评估机制的问题，减少无效探索和错误传播
提出轻量级 PRM 训练范式，避免复杂强化学习流程，实现奖励引导的搜索
基于 SWE-Bench 构建首个代码智能体动作级奖励数据集，支持可复现研究
揭示中间奖励与最终任务成功率之间的对齐挑战，为后续研究提供方向

核心方法

从 SWE-Bench 收集真实 GitHub 问题、仓库快照和测试用例作为训练与评估任务
使用 LLM 智能体生成包含文件读取、代码编辑、测试执行等动作的交互轨迹
设计启发式规则计算每个中间动作的标量奖励，反映其对问题解决的贡献度
构建监督数据集：输入为问题描述、历史交互和候选动作，输出为归一化奖励值
在预训练 LLM 上添加 MLP 头，采用 qLoRA 微调和 MSE 损失训练过程奖励模型（PRM）
推理时由 PRM 对候选动作打分，智能体选择最高分动作，实现奖励引导的决策

关键结果

在 SWE-Bench Verified 上，SWE-Shepherd 平均交互步数从 15.2 降至 12.2，提升效率
任务解决率从 mini-SWE-Agent 的 57% 略降至 51%，表明局部高奖励动作未必导向全局成功
已解决任务平均奖励为 0.4894，未解决任务为 0.4818，差异微弱，说明奖励信号与最终成功弱相关
相比 MCTS 方法 SWE-Search，SWE-Shepherd 成本更低且解决率更高

局限与风险

中间奖励函数依赖启发式设计，与最终任务成功对齐度不足
PRM 仅提供动作评分，未结合策略优化或环境反馈进行端到端训练
实验仅基于 gpt-5-mini 和 100 个任务，泛化能力有待验证
未探索自适应步长限制或多样化动作生成策略

适合沉淀的概念

process-reward-models, code-agents, swe-bench, reward-guided-search, intermediate-supervision, action-level-reward, llm-based-software-engineering, trajectory-reward-modeling

阅读注意

关注 PRM 如何在不使用强化学习的情况下实现奖励引导的决策
注意奖励计算启发式规则的具体设计及其对模型训练的影响
分析表2中奖励与任务结果弱相关的深层原因
思考为何减少步数的同时解决率下降，是否存在探索-利用权衡问题
留意未来工作中提到的混合 RL 与 PRM 的可能性

质量说明

采用来源：clean，papers/2026/04/2604.10493.md
生成模型：LongCat-Flash-Chat
源材料判断：论文结构完整，方法描述清晰，实验设计合理，数据与代码公开，具备可复现性。虽部分引用未标注具体年份，但不影响核心内容理解。