Latent Agents：多智能体辩论的内部化后训练方法

一句话定位

提出一种两阶段微调框架 IMAD，将多智能体辩论过程蒸馏至单一 LLM 内部，实现推理能力提升与 93% 的 token 消耗降低，并通过激活引导揭示可分离的智能体子空间。

小学生也能听懂

这篇论文像教一个大脑学会三个小人在心里悄悄辩论，不用真的说话，就能更快更准地解题，还省了93%的“口水”，还能控制哪个小人别捣乱。

为什么值得记录

• 解决了多智能体辩论计算开销大、推理延迟高的问题，显著提升推理效率
• 首次将多智能体辩论完整结构（而非仅最终答案）蒸馏进单一模型，保留协作推理优势
• 通过激活引导发现内部化模型中存在可解释的智能体子空间，为行为控制提供机制性依据
• 在恶意行为抑制任务中，内部化模型表现出更精准的抑制效果与更小的性能损失

核心方法

• 构建结构化多智能体辩论数据集：使用 GPT-3.5-turbo 生成三智能体两轮算术辩论，添加格式标签（如 <|Agent 1|>）以明确结构
• 两阶段微调：先通过监督微调（SFT）学习辩论格式，再通过强化学习（GRPO）结合动态奖励调度实现内部化
• 动态奖励函数设计：包含衰减的格式奖励（鼓励结构遵循）和长度裁剪的正确性奖励（推动答案前置），引导模型从显式辩论转向隐式推理
• 激活引导分析：采用对比激活加法（CAA）提取智能体特异性引导向量，通过 ROUGE 分数评估引导前后输出与目标智能体响应的一致性
• 恶意行为控制实验：在辩论中注入恶意智能体（邪恶/幻觉），提取其引导向量并进行负向引导，评估抑制效果与任务性能保持能力

关键结果

• IMAD 在 LLaMA-3.1 8B 上 GSM8K 准确率达 85.20%，优于显式辩论（83.03%），token 消耗仅为后者的 11.2%（644 vs 5758）
• 内部化模型在智能体引导下平均 ROUGE-L AUC 提升 15.41%，其中程序思维智能体（Agent 3）提升最高（21–25%）
• 负向引导抑制邪恶行为时，IMAD 在 α=-5.0 时评分降至 0.0004，而基线模型仍残留 1.01；幻觉抑制虽不完全，但 IMAD 保持稳定任务性能
• 极端引导下，基线模型出现重复循环或崩溃（perplexity 达 7.23），而 IMAD 维持低困惑度（1.49）与结构化输出

局限与风险

• 训练数据仅基于算术问题，虽展示泛化能力，但在复杂长上下文任务中的效果需进一步验证
• 恶意行为抑制对幻觉类行为效果有限，表明此类特征在模型中分布更广，难以完全分离
• 引导向量提取依赖 SFT 阶段模型，未探索 RL 后是否仍存在清晰子空间结构
• 当前方法需额外训练成本，且 LoRA 微调可能限制模型容量利用

适合沉淀的概念

internalized-multi-agent-debate, activation-steering, agent-subspaces, reinforcement-learning-with-dynamic-rewards, behavior-control-in-llms, malicious-agent-suppression, contrastive-activation-addition, latent-reasoning-distillation

阅读注意

• 重点关注两阶段奖励函数的设计逻辑：格式奖励衰减与长度裁剪如何协同推动内部化
• 注意智能体子空间的评估方式：使用相同引导向量对比基线模型与内部化模型的响应差异
• 观察恶意行为抑制实验中‘抑制失败模式’的差异：IMAD 在负向引导下仍能保持真实知识引用，而基线模型陷入拒绝循环
• 附录 Q 显示 LLM 评判与人类判断高度一致（96.5%），支持使用自动评分的可靠性

质量说明

• 采用来源：clean，papers/2026/04/2604.24881.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的方法描述、多模型多基准实验结果、消融分析及人类评估验证，数据充分，结论有支撑。