2604.10674

Skill-SD：面向多轮 LLM 代理的技能条件化自蒸馏

一句话定位

提出 Skill-SD 框架，通过将代理自身轨迹总结为自然语言技能作为动态教师信号，结合重要性加权反向 KL 损失和动态教师同步机制，提升多轮 LLM 代理在稀疏奖励任务中的训练效率与稳定性。

小学生也能听懂

这篇论文教AI像学生一样学习：它把AI自己成功或失败的“经验”总结成简单技能（比如“先开门再拿钥匙”），再用这些技能指导自己，就像有个随时更新的小老师，让AI在复杂任务中学得更快更稳。

为什么值得记录

• 解决了传统 RL 在多轮代理任务中因稀疏奖励和长视界导致的样本效率低下问题
• 突破了固定特权信息（如唯一正确答案）无法适配多策略代理任务的限制，提出动态技能作为软性指导信号
• 首次在跨提示自蒸馏设置中形式化重要性加权反向 KL 损失，纠正梯度偏差，保障训练稳定性
• 在 AppWorld 和 Sokoban 基准上显著超越 vanilla GRPO 和 OPD，验证了技能条件化自蒸馏的有效性

核心方法

• 使用轨迹分析器将完成的多轮轨迹自动总结为三类自然语言技能：成功策略、错误分析与理想工作流
• 构建技能条件化教师：教师模型接收任务提示+检索技能，学生模型仅接收原始任务提示，实现训练时知识注入、推理时零依赖
• 设计重要性加权反向 KL 损失（ρ·k₃），显式校正因师生提示不一致引起的分布失配，确保逐 token 梯度无偏
• 引入动态教师同步机制：每轮迭代将教师参数更新为学生最新 checkpoint，避免教师落后导致信号退化
• 采用 UCB 策略进行技能检索，平衡探索与利用，优先尝试高回报或未充分使用的技能
• 联合优化 GRPO 目标（任务级优势）与 SDL 损失（token 级蒸馏），λ 控制两者权重

关键结果

• 在 AppWorld 上，Skill-SD 准确率达 64.9%，相对 vanilla GRPO 提升 +14.0%，相对 vanilla OPD 提升 +42.1%
• 在 Sokoban 上，准确率达 62.5%，相对 vanilla GRPO 提升 +10.9%，相对 vanilla OPD 提升 +40.6%
• 消融实验表明：动态教师同步至关重要——冻结教师导致性能 plateau，离策略教师 rollout 引发训练崩溃
• 可视化显示学生 token 分布逐步收敛至教师分布，SDL 损失下降 59.3%，证实知识内化成功

局限与风险

• 技能生成依赖外部 LLM（Seed1.8），虽不参与优化但增加系统复杂性与潜在偏差
• 当前仅测试 Qwen3-4B 模型，更大或更小模型上的 scalability 需进一步验证
• UCB 检索为任务局部策略，未建模跨任务技能迁移，可能限制泛化能力
• SDL 系数 λ 需手动调参，缺乏自适应机制

适合沉淀的概念

skill-conditioned-self-distillation, importance-weighted-reverse-kl, dynamic-teacher-synchronization, multi-turn-llm-agent, on-policy-distillation, ucb-skill-retrieval, gradient-bias-correction, appworld-benchmark

阅读注意

• 关注 §3.3 中重要性加权反向 KL 损失的推导（附录 D），理解为何 naive k₃ 会导致梯度偏差
• 对比 Table 1 中 Skill-Augmented GRPO 与 Skill-SD 的差距，体会蒸馏损失的关键作用
• 注意 Algorithm 1 中第 2 行的教师同步逻辑，这是稳定训练的核心
• 附录 D.4 明确区分了 SDL 权重 ρ 与 GRPO 裁剪比 r 的语义差异，避免概念混淆
• 实验设置中采用 token-mean 归约与 DAPO 非对称裁剪，细节影响训练稳定性

质量说明

• 采用来源：raw，raw/papers/2026/04/2604.10674.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，包含方法细节、理论推导、实验设置与充分消融，结果可复现性强。