概念导读

Agent 与训练数据共同进化 —— 闭环反馈驱动的 Agent RL 训练框架，通过遗忘/边界/稀少信号自动发现弱点并合成新任务。

1. Overview
2. Key Contribution / 核心创新
3. 三种反馈信号
4. 信号驱动的任务合成
5. GRPO 训练目标
6. Experimental Results
7. 主结果
8. 关键数字

CoEvolve: Agent-Data Mutual Evolution

Agent 与训练数据共同进化 —— 闭环反馈驱动的 Agent RL 训练框架，通过遗忘/边界/稀少信号自动发现弱点并合成新任务。

Overview

当前 LLM Agent 的 RL 训练依赖静态数据分布（人工标注轨迹或离线合成数据），无法适应 Agent 行为的动态变化，导致对复杂环境交互的覆盖不足。

CoEvolve 提出 Agent-数据共同进化框架： 1. 从 rollout 轨迹提取反馈信号（遗忘、边界、稀少） 2. 利用信号引导 LLM 合成针对性任务 3. 通过环境交互验证并更新训练分布

核心循环：Agent 训练 → 提取弱点信号 → 引导重探索 → 任务抽象验证 → 更新数据分布

Key Contribution / 核心创新

1. 三种反馈信号

Forgetting Signal (遗忘信号)：

触发条件: ∃ s_i ∈ H_recent s.t. s_i ≥ 0.5 AND s_now < 0.5

Agent 之前成功但现在失败的任务。

Boundary Signal (边界信号)： 同一次训练迭代中，同一任务的 K 个 rollout 同时包含成功和失败轨迹。Agent 在决策边界上不稳定。

Rare Signal (稀少信号)： 任务在当前训练分布中出现频率极低，导致探索不足。

2. 信号驱动的任务合成

从信号标注的轨迹出发： 1. 按任务分组交互三元组 (action-observation pairs) 2. LLM 抽象为任务级规范 (intent + query + solution) 3. 环境执行验证任务有效性 4. 通过验证的任务加入训练集 D_t

3. GRPO 训练目标

J(θ) = (1/Σ|τ_k|) Σ_k Σ_t CLIP(r_{k,t}(θ), Â_k, ε)
       - β · D_KL[π_θ || π_ref]

在 GRPO 基础上加入闭环数据进化。

Experimental Results

主结果

Backbone	AppWorld TestN (TGC)	BFCL-V3
Qwen2.5-7B Zero-shot	1.19	13.50
Qwen2.5-7B + GRPO	26.78	56.00
Qwen2.5-7B + CoEvolve	27.98	61.50
Qwen3-4B Zero-shot	16.67	26.50
Qwen3-4B + GRPO	28.57	58.00
Qwen3-4B + CoEvolve	35.71	63.00
Qwen3-30B-A3B Zero-shot	31.55	43.50
Qwen3-30B-A3B + GRPO	48.81	64.00
Qwen3-30B-A3B + CoEvolve	54.76	67.00

关键数字

• 绝对提升：Qwen2.5-7B +19.43%, Qwen3-4B +15.58%, Qwen3-30B-A3B +18.14%
• 超越 GPT-4 on BFCL (63.00 vs 54.00)
• 超越 Gemini-2.5-Flash on BFCL (63.00 vs 41.50)
• AppWorld Challenge split: +23.21 / +21.43 (TGC/SGC) for Qwen3-30B-A3B

消融实验 (Qwen3-4B)

阶段	AppWorld	BFCL	Avg
Zero-shot baseline	16.67	26.50	21.59
+ Synthetic Data	28.57	58.00	43.29
+ Random Exploration	30.36	60.50	45.43
+ Feedback (CoEvolve)	35.71	63.00	49.36

信号消融

• 去掉遗忘信号：49.36 → 45.18 (最大降幅)
• 去掉稀少信号：49.36 → 47.21
• 去掉边界信号：49.36 → 47.17
• 信号分布：边界信号最多 (AppWorld 51.4%, BFCL 45.5%)

效率

• 反馈阶段仅占总训练时间 ~10%
• AppWorld: +22.92% 相对提升 for ~10% 额外计算

Relation to Existing Work

• 与 ragegen-multi-turn-rl-agents 互补：CoEvolve 关注数据进化，而非多轮交互策略
• 区别于 agent-r1-end-to-end-rl：不依赖端到端 RL，而是在 GRPO 基础上加闭环数据进化
• 超越 ml-agent-autonomous-ml 的静态数据方法：反馈驱动的自适应数据生成
• 与 ReAct/Reflexion 不同：不是 prompting 策略，而是训练时数据分布优化
• 跨域迁移：AppWorld 训练 → BFCL zero-shot 从 26.50 提升到 45.00

Related

• ragegen-multi-turn-rl-agents
• agent-r1-end-to-end-rl
• ml-agent-autonomous-ml