概念导读
PARM 提出面向多阶段 LLM 流水线的自适应奖励模型训练方法，利用流水线最终执行反馈自动构建偏好数据，无需人工标注即可训练出有效的阶段级奖励模型。
- Overview
- Key Contribution
- Pipeline Framework (两阶段实例化)
- Pipeline-Adapted Training (PAT)
- 扩展性分析
- Experimental Results
- 优化任务基准
- 模型配置
PARM: 流水线自适应奖励模型
PARM 提出面向多阶段 LLM 流水线的自适应奖励模型训练方法，利用流水线最终执行反馈自动构建偏好数据，无需人工标注即可训练出有效的阶段级奖励模型。
Overview
现有奖励模型研究主要聚焦于单阶段文本生成任务（如 Best-of-N、Beam Search、MCTS）。然而，实际应用中 LLM 越来越多地作为流水线 (pipeline) 中的模块使用——例如，将组合优化问题分解为"问题建模"和"代码求解"两个阶段。当奖励模型用于指导多阶段流水线时，会出现奖励不一致问题：某阶段的奖励分数高，但最终流水线输出质量差。
PARM (Pipeline-Adapted Reward Model) 通过 Pipeline-Adapted Training (PAT) 解决此问题：利用流水线末端的任务级验证反馈作为监督信号，自动构建阶段级偏好数据集来训练奖励模型，使各阶段奖励与最终执行结果对齐。
Key Contribution
Pipeline Framework (两阶段实例化)
给定优化问题 $P$，流水线包含:
- 建模阶段: 建模生成器 $\text{LLM}F$ 采样 $N_F$ 个候选公式 ${F_i}{i=1}^{N_F}$，由建模奖励模型 $\text{RM}_F$ 评分并选最优
- 求解阶段: 求解生成器 $\text{LLM}_S$ 基于选中公式生成 $N_S$ 个候选解，由求解奖励模型 $\text{RM}_S$ 评分并选最优
关键: 各阶段奖励模型不是独立训练的，而是通过 PAT 方法利用端到端执行反馈进行自适应。
Pipeline-Adapted Training (PAT)
PAT 的核心流程:
- 运行流水线收集候选输出及其执行结果
- 对于建模阶段: 如果某公式至少产生一个通过验证的解，标记为正样本；否则为负样本
- 对于求解阶段: 直接使用执行结果（正确/错误）作为标签
- 基于自动收集的偏好数据，用 DPO 训练各阶段奖励模型
扩展性分析
- 推理复杂度: $O(k \cdot N)$（贪心逐阶段选择），避免了 $O(N^k)$ 的组合爆炸
- 训练数据构建: 随阶段数增加，早期阶段的正标签依赖于后续阶段的成功，数据成本增长
Experimental Results
优化任务基准
6 个数据集涵盖从高中到本科级别的 MILP/LP/NLP 优化问题:
| 数据集 | 规模 | 类型 |
|---|---|---|
| IndustryOR | 100 | 工业 LP/MILP/非线性规划 |
| ComplexOR | 19 | 供应链/调度/物流 |
| NL4Opt | 100 | 线性规划文字题 |
| NLP4LP | 65 | 设施选址/网络流/调度 |
| Mamo Easy | 100 | 高中 MILP |
| Mamo Complex | 100 | 本科 LP/MILP |
模型配置
| 系列 | 建模器 | 求解器 |
|---|---|---|
| Qwen | Qwen2.5-Math-7B-Instruct | Qwen2.5-Coder-7B-Instruct |
| DeepSeek | deepseek-math-7b-instruct | deepseek-coder-7b-instruct-v1.5 |
奖励模型: Skywork-RM, Qwen-PRM 等
关键发现
- PARM 在求解准确率 (Solving Accuracy, SA) 和执行率 (Execution Rate, ER) 上均优于直接使用 GPT-4o 和 DeepSeek-v3 的单模型基线
- 自动训练的奖励模型无需人工标注即可有效指导流水线
- Self-debugging 机制进一步提升性能
- GSM8K 跨域实验验证了方法的泛化潜力
Related
- free-process-rewards — 免标注过程奖励方法与 PARM 的自动数据构建理念一致
- ppo — PARM 可与 PPO 等 RL 算法结合用于流水线优化
- reinforcement-learning-from-human-feedback — RLHF 在多阶段流水线中的扩展