总览 / 概念 / COS-PLAY — Co-Evolving LLM Decision and
↗ 源 Markdown
概念
rl training fine-tuning
创建2026-05-02
更新2026-05-02
阅读量级5 分钟
来源2604.20987
概念导读

LLM 在长程交互环境中做 consistent 决策困难，因为缺乏发现、保留和复用结构化 skill 的机制。现有 LLM agent 没有类似 Atari/AlphaZero 中 self-improving game agent 的 explore-learn-reuse 循环。

  1. 一、核心问题
  2. 二、COS-PLAY 架构
  3. Decision Agent
  4. Skill Bank Agent
  5. Skill Protocol
  6. 三、Co-Evolving 训练
  7. 三阶段循环
  8. 多 LoRA 设计

COS-PLAY — Co-Evolving LLM Decision and Skill Bank Agents

arXiv: 2604.20987 Authors: Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha (UMD + USC + MBZUAI) Date: April 2026 Code: GitHub

一、核心问题

LLM 在长程交互环境中做 consistent 决策困难，因为缺乏发现、保留和复用结构化 skill 的机制。现有 LLM agent 没有类似 Atari/AlphaZero 中 self-improving game agent 的 explore-learn-reuse 循环。

二、COS-PLAY 架构

Decision Agent

在每个 timestep，决策 agent 执行三步操作：

1. Skill 检索与选择： $$\tilde{s}t = \pi^{skill}\theta(o_t, B)$$

从 skill bank $B$ 中检索候选 skill，基于当前观测 $o_t$ 选择。

2. Intention 更新： $$z_t = \pi^{int}_\theta(o_t, \tilde{s}_t)$$

基于观测和选中的 skill 更新 intention state。

3. Action 执行： $$a_t \sim \pi^{act}_\theta(\cdot | o_t, z_t, \tilde{s}_t)$$

优化目标：最大化期望累积奖励 $$\max_\theta J(\theta) = \mathbb{E}{\tau \sim \pi\theta}\left[\sum_{t=1}^T r_t\right]$$

Skill Bank Agent

Skill bank agent 管理 skill 的发现、学习和维护管线：

1. Infer Segmentation — 将高价值轨迹片段映射到已有 skill，允许新 skill 出现 2. Contract Learning — 学习紧凑的状态转移摘要（contracts），跨 episode 泛化 3. Skill Bank Maintenance — 通过保留、探索和基于证据的合并/分裂/拒绝来更新 bank

Skill Protocol

每个 skill 有结构化 contract：

Skill Protocol: MERGE
Summary:        What is the purpose of this skill?
Pre-condition:  When is this skill applicable?
Plan:           How should this skill be carried out?
Success/Abort:  When does it succeed or abort?
Contract:       What changes after execution?

三、Co-Evolving 训练

三阶段循环

1. Decision agent 与环境交互，收集 rollouts
2. Skill bank agent 分割轨迹、学习 contracts、更新 skill bank
3. GRPO 同时更新两个 agent

多 LoRA 设计

两个 agent 各自独立的 LoRA adapter：

Decision Agent (2 adapters): - Action-taking LoRA: 奖励在 active skill 上的进展，惩罚不必要的 skill 检索 - Skill-retrieval LoRA: 在 episode 结束时评估，奖励导致 contract-satisfying 结果的 skill 检索

Skill Bank Agent (3 adapters): - Segmentation adapter: 映射轨迹片段到 skill - Contract adapter: 学习状态转移摘要 - Curator adapter: 更新 bank（保留/探索/合并/分裂/拒绝）

这种分解让 agent 同时改进"选择什么 skill"和"如何执行它"。

Cold Start

  • GPT-5.4 作为 teacher 生成 60 条 seed trajectories per game
  • SFT 这些轨迹训练 Qwen3-8B，作为两个 agent 的共享初始化

训练环境

游戏 类型 难度
2048 单人益智 中
Candy Crush 单人益智 中
Tetris 单人控制 高
Super Mario Bros. 单人平台 高
Avalon 多人社交推理 很高（隐藏角色）
Diplomacy 多人谈判联盟 极高（长程规划）

所有环境通过统一 Gym-style API 交互，观测转为结构化文本状态，离散文本动作。

社交游戏对手： Avalon 和 Diplomacy 使用 GPT-5-mini 作为对手，提供强监督信号。

四、奖励设计

Action-taking 奖励： - 在 active skill 上的进展 + 奖励 - 不必要 skill 检索的惩罚

Skill-retrieval 奖励： - Episode 结束时评估 - 基于检索的 skill 是否导致了 contract-satisfying 的结果

Skill Bank 奖励： - 基于 skill utility、contract 泛化能力和 bank 效率

五、实验结果

单人游戏

COS-PLAY 8B 模型 vs 4 个 frontier LLM baseline： - 平均 +25.1% reward 提升 - 在 2048、Candy Crush、Tetris、Super Mario Bros. 上全面领先

多人社交推理

  • Avalon: Good side 需要从稀疏信号推断隐藏角色，COS-PLAY 保持竞争力
  • Diplomacy: 需要长程上下文推理、谈判、联盟跟踪，COS-PLAY 表现 competitive

Self-Reinforcing Loop

更好的 skill → 更好的决策 → 更好的 rollout → 更好的 skill 学习 → 循环

Skill bank 和 decision agent 共同演化：每轮新轨迹反映当前策略，更新后的 bank 塑造后续的 skill 检索和动作执行。

六、批判性分析

优势

  • Co-evolution 框架设计精巧：decision + skill bank 互相促进
  • 多 LoRA 分解让不同功能独立优化，避免干扰
  • Skill protocol 的 contract 设计让 skill 可组合、可验证
  • 在社交推理游戏（Avalon/Diplomacy）上的表现证明框架泛化性好

不足

  1. Cold start 依赖 GPT-5.4 — 60 条 seed trajectories 的质量和覆盖范围影响后续演化
  2. Skill 分割的启发式 — 如何确定 trajectory segment 的边界？论文没有给出明确的算法
  3. Skill bank 的规模控制 — 没有讨论 skill bank 增长到多大时需要剪枝或合并
  4. 只在游戏环境评估 — 没有在实际 agent 任务（coding、web browsing）上测试

对我们的启发

  • CoPD 和 COS-PLAY 的统一视角： 两者都展示了 co-evolution > 单体训练。CoPD 是 parallel branches 互相蒸馏，COS-PLAY 是 decision + skill bank 互相促进。对于 MoE 模型，可以考虑 expert + router 的 co-evolution
  • Multi-LoRA 设计： 不同功能用独立 LoRA，可以避免能力干扰。在 OPD 中，可以用 LoRA 分离 distillation 和 RLVR 的更新路径
  • Skill bank as memory： Skill bank 本质上是结构化的 agent 记忆。与 agent-memory-system、memgpt 等工作的关系值得深挖