---
title: "Policy Distillation"
title_zh: "策略蒸馏：从深度强化学习中提取高效策略"
arxiv_id: "1511.06295"
paper_type: "method"
source_kind: "clean"
raw_path: "raw/papers/2015/11/1511.06295.md"
generated: "2026-05-11"
model: "LongCat-Flash-Chat"
quality: "ok"
---

# 策略蒸馏：从深度强化学习中提取高效策略

## 一句话定位

提出策略蒸馏方法，将DQN等强化学习智能体的策略迁移到更小或更通用的网络中，实现模型压缩、多任务学习和在线稳定训练。

## 小学生也能听懂

这篇论文像老师教学生一样，把一个很会玩游戏的“大电脑”（DQN）的本领，教给一个更小的“小电脑”，让小电脑也能玩得很好，还能同时学会玩好几种游戏，而且学得更快更稳。

## 为什么值得记录

- 首次在强化学习领域成功应用知识蒸馏技术，打破了‘监督学习无法泛化到序列决策任务’的传统认知
- 实现了高达15倍的模型压缩，同时保持或超越原DQN性能，显著提升推理效率
- 成功将多个单任务专家策略融合为单一多任务策略，在10个Atari游戏中达到单任务DQN平均89.3%的性能
- 提出在线蒸馏机制，可在DQN训练过程中持续提取最优策略，提高学习稳定性

## 核心方法

- 使用训练好的DQN作为教师网络，生成状态-动作Q值对作为监督信号
- 采用三种损失函数进行蒸馏：MSE（均方误差）、NLL（负对数似然）、KL散度；实验表明KL散度配合低温softmax（τ=0.01）效果最佳
- 单任务蒸馏：学生网络通过回归教师Q值分布学习策略，支持网络结构压缩
- 多任务蒸馏：共享主干网络 + 每任务独立输出控制器（MLP），交替从不同游戏的教师数据中采样训练
- 在线蒸馏：在DQN训练过程中定期保存当前最优策略并蒸馏到学生网络，实现动态策略跟踪

## 关键结果

- 单任务蒸馏：KL损失优于MSE和NLL；4倍压缩模型（Dist-KL-net1）在10个Atari游戏中几何平均得分达DQN的108.3%
- 模型压缩：15倍压缩模型性能与DQN相当，最小模型（6.2万参数）仍达DQN平均性能的84%
- 多任务蒸馏：3游戏设置下，Multi-Dist-KL达到单任务DQN平均性能的116.9%，显著优于联合训练的Multi-DQN（83.5%）
- 10游戏多任务蒸馏：单个网络实现几何平均89.3%的单任务DQN性能，其中3个游戏超越教师水平
- 在线蒸馏：学生网络比DQN训练过程更稳定，最终性能与最佳DQN相当或更优

## 局限与风险

- 依赖高质量教师策略，若DQN未充分训练则蒸馏效果受限
- 多任务蒸馏需为每个任务设计独立输出层，增加架构复杂性
- 未与更先进的RL算法（如Double DQN、Dueling DQN）结合验证通用性
- 在线蒸馏需额外存储和计算开销，可能影响实时性

## 适合沉淀的概念

`policy-distillation`, `knowledge-distillation-in-rl`, `model-compression`, `multi-task-reinforcement-learning`, `atari-games`, `deep-q-network`, `kl-divergence-loss`, `online-distillation`

## 阅读注意

- 重点关注第3.2节中三种损失函数的对比分析，理解为何KL散度优于MSE和NLL
- 注意附录A中网络架构细节，特别是压缩模型如何逐层减少参数
- 图3和表B1展示了压缩模型的性能-大小权衡，是模型部署的重要参考
- 多任务设置中‘控制器层’的设计是关键创新，允许不同动作空间的任务共享特征
- 在线蒸馏实验（图5）展示了其在非平稳学习过程中的稳定作用

## 质量说明

- 采用来源：`clean`，`papers/2015/11/1511.06295.md`
- 生成模型：`LongCat-Flash-Chat`
- 源材料判断：论文材料完整，包含方法、实验、消融分析和附录细节，数据充分支持结论。