总览 / 概念 / Latent Agents — Internalized Multi-Agent
↗ 源 Markdown
概念
distillation reasoning alignment
创建2026-05-02
更新2026-05-02
阅读量级6 分钟
来源2604.24881
概念导读

数据集构造：

  1. 一、核心方法：两阶段后训练
  2. Stage 1: Debate Structure Learning (SFT)
  3. Stage 2: RL for Internalization
  4. 二、Mechanistic Analysis: Agent Subspaces
  5. Steering Vector 提取（difference-in-means）
  6. 关键发现
  7. 安全应用：Malicious Agent Suppression
  8. 三、完整实验结果

Latent Agents — Internalized Multi-Agent Debate (IMAD)

arXiv: 2604.24881 Authors: John Seon Keun Yi, Aaron Mueller, Dokyun Lee (Boston University) Date: April 2026

一、核心方法：两阶段后训练

Stage 1: Debate Structure Learning (SFT)

数据集构造： - 3 agents × 2 rounds multi-agent debate（Du et al., 2023 配置） - Base model: GPT-3.5 turbo - 问题：6 个随机两位数的算术表达式（如 91+2413+45-4138） - 过滤：没有 majority consensus 的 debate 丢弃 - 加 structure tags: <|Agent 1|>, <|Round 1|>, <|Consensus|>, <|endofdebate|> - 收集 944 条 debate trace {Question, Trace, Answer}

为什么用算术题： 答案短、关注结构学习而非长推理、中等难度、不需要 benchmark 数据。

SFT 训练模型学习复制 debate 结构。

Stage 2: RL for Internalization

动态 reward scheduling — 两个机制协同：

1. Decaying format reward:

$$R_{\text{fmt}}(y) = \begin{cases} w_{\text{fmt}} & \text{if format is correct} \ 0 & \text{otherwise} \end{cases}$$

$w_{\text{fmt}} \to 0$ over training — 逐步降低对 debate 结构格式化的奖励。

2. Length annealing with correctness reward:

$$R(y; l) = \begin{cases} 1 & \text{if } y^* \in \text{clip}(y, l) \ 0 & \text{otherwise} \end{cases}$$

其中 $\text{clip}(y, l)$ 截断输出到前 l 个 tokens。正确答案 $y^*$ 必须在截断前缀中才给奖励。

长度上限逐步收紧：$l^0 \to l^1 \to \cdots \to l^*$

  • $l^0$：宽松，允许完整 debate verbalization
  • $l^*$：严格，只够放简洁答案

Internalization 机制： 两个动态信号协同——decaying format reward 移除了 verbalize debate 的动机，shrinking length limit 使得这样做时无法拿到 correctness reward。唯一策略：把 multi-perspective analysis 内化到 latent space，直接输出答案。

二、Mechanistic Analysis: Agent Subspaces

Steering Vector 提取（difference-in-means）

$$\vec{v}i = \frac{1}{|S_i|}\sum{x \in S_i} h(x) - \frac{1}{|S_{\neg i}|}\sum_{x \in S_{\neg i}} h(x)$$

其中 $h(x)$ 是 hidden state activation，$S_i$ 是 agent i 激活的样本集。

关键发现

  1. Agent-specific subspaces 存在 — internalization 创建了激活空间中对应不同 agent 视角的线性可分方向
  2. Debate 结构没有 collapse — model steering 时 steered IMAD 模型表现出 agent-specific 行为
  3. Structure tags 的重要性 — 没有 tags 时 subspace 分离不明显

安全应用：Malicious Agent Suppression

  • 在 IMAD 中 instill malicious agent（通过 internalized debate）
  • 用 negative steering 抑制这个 agent
  • 结果：harmful behaviors 更容易 localize 和 control
  • 相比 steering base models，general performance 下降更小

三、完整实验结果

主实验（3 个模型 × 5 种方法 × 3 个 benchmark）

LLaMA-3.1-8B-Instruct:

Method GSM8K MMLU-Pro BBH Token Consumption
Single 79.93 61.10 56.37 547
Debate 83.03 64.60 51.06 5,758
DebateGPT 74.42 60.58 55.83 455
SFT 79.23 75.60 54.91 992
IMAD (SFT+RL) 85.20 62.00 58.53 644

Qwen2.5-7B-Instruct:

Method GSM8K MMLU-Pro BBH Token Consumption
Single 86.07 48.87 62.51 577
Debate 91.37 57.67 67.58 2,320
DebateGPT 89.43 54.10 63.93 358
SFT 86.37 50.60 67.14 957
IMAD (SFT+RL) 89.67 52.87 70.11 389

Mistral-Nemo-12B-Instruct:

Method GSM8K MMLU-Pro BBH Token Consumption
Single 75.40 39.17 58.70 332
Debate 61.03 41.30 62.76 1,697
DebateGPT 71.70 40.40 59.07 327
SFT 74.37 36.20 63.66 1,053
IMAD (SFT+RL) 80.00 38.97 63.73 358

Token reduction: 6-21% of explicit debate consumption.

Generalization

只在算术问题上训练，但 MMLU-Pro 和 BBH 上也有提升 — 跨域泛化。

四、批判性分析

优势

  • Mechanistic interpretability 扎实：agent subspaces 发现有意义
  • Safety 应用（malicious agent suppression）是新颖方向
  • 三种架构都验证了

不足

  1. 训练数据太简单 — 只用 6 个两位数的算术表达式，复杂推理能力没验证
  2. DebateGPT 基线太弱 — 只用 final response 做蒸馏，没用完整 debate trace
  3. MMLU-Pro 在 Qwen2.5-7B 上 IMAD 远不如 SFT (52.87 vs 75.60) — 差距很大，论文没有充分解释
  4. Structure tags 必要性 — 说没有 tags 时 subspace 分离不明显，但没有定量对比
  5. RL 具体算法未详述 — 论文说用 RL with dynamic reward scheduling，但没用 PPO/GRPO 等标准名称

对我们的启发

  • GKD/OPSD internalization — IMAD 的 RL internalization 思路可用于 OPSD：不仅让学生模仿 teacher 的 token distribution，还让学生把 teacher 的 reasoning process 内化
  • Activation steering 控制 expert behavior — 对 MoE 模型的 router behavior 可能有启发：如果不同 expert 形成可分离 subspace，可通过 steering 控制 expert 激活