DP-OPD: Differentially Private On-Policy Distillation for Language Models

DP-OPD：面向语言模型的差分私有同策略蒸馏

一句话定位

提出 DP-OPD，一种仅对学生模型应用 DP-SGD、利用冻结教师在同策略轨迹上提供密集 token 级监督的差分私有蒸馏框架，在严格隐私预算下提升压缩模型效用并简化训练流程。

小学生也能听懂

这篇论文发明了一种叫DP-OPD的新方法，就像让一个学生自己写作业，然后请一位不说话的“老师”帮忙检查每一步对不对，只给学生加一点小噪音保护隐私，这样既省时间又学得更好，比之前的方法更聪明。

为什么值得记录

• 解决了传统 DP 蒸馏中需对教师和学生双重应用 DP-SGD 带来的计算开销与隐私-效用权衡恶化问题
• 避免了合成文本生成类方法（如 DistilDP）所需的离线 DP 教师训练与大规模合成数据生成，显著降低工程复杂度
• 通过在同策略（学生生成）轨迹上进行蒸馏，缓解了暴露偏差与 DP 噪声导致的错误累积问题
• 在 ε=2.0 的严格隐私设置下，在 Yelp 和 BigPatent 数据集上均取得最优困惑度（PPL）

核心方法

• 采用同策略蒸馏范式：以概率 λ 采样学生自身生成的 continuation tokens 作为训练轨迹，而非使用教师强制或固定轨迹
• 使用广义知识蒸馏（GKD）损失，支持前向 KL、反向 KL 和 JSD 风格散度，参数 β 控制对齐方式
• 仅对学生模型参数应用标准 DP-SGD：梯度裁剪 + 高斯噪声，隐私预算完全由学生更新过程消耗
• 教师模型冻结且非私有，仅用于在学生 rollout 上计算 token 级软目标，不参与参数更新或发布
• 支持控制码（control code）条件生成，将结构化属性编码为文本前缀，但不影响 DP 机制
• 训练流程简化为单一 DP 学生训练循环，无需 DP 教师训练或离线合成数据生成

关键结果

• 在 ε=2.0, δ=1/N 下，DP-OPD 在 Yelp 上 PPL 为 41.68，优于 DistilDP 的 44.15；在 BigPatent 上 PPL 为 30.63，优于 DistilDP 的 32.43
• 相比仅对学生应用 DP-SGD 的无教师基线（Yelp: 48.12, BigPatent: 41.80），DP-OPD 显著降低困惑度
• 相比双 DP（教师+学生）的 off-policy 蒸馏 DPKD（Yelp: 46.16, BigPatent: 41.20），DP-OPD 表现更优
• 消融实验显示 β=0（前向 KL 风格）在 BigPatent 上取得最佳 PPL（30.63），随 β 增大性能下降
• 训练成本显著低于 DistilDP：单卡 RTX A6000 完成，无需多 GPU 集群与数日运行时间

局限与风险

• 在线生成学生 rollout 引入额外计算开销，长序列或大模型下可能成为瓶颈
• 依赖训练期间对冻结教师的频繁查询，若教师访问受限（如 API 调用成本），可能限制实用性
• 控制码（如元数据、标签）被视为非敏感，但在某些场景下其分布本身可能泄露隐私，需更完整威胁建模
• 当前实验基于师生共享 tokenizer，跨 tokenizer 场景需结合 logit alignment 技术（如 GOLD）

适合沉淀的概念

differential-privacy, knowledge-distillation, on-policy-distillation, dp-sgd, exposure-bias, generalized-knowledge-distillation, synthetic-text-generation, privacy-utility-tradeoff

阅读注意

• 关注 DP-OPD 如何仅通过学生端 DP-SGD 实现隐私保护，而教师完全非私有
• 理解同策略蒸馏（on-policy）与 off-policy 蒸馏在缓解暴露偏差方面的关键区别
• 注意 GKD 中 β 参数的作用：β=0 为 forward-KL，侧重覆盖教师分布；β=1 为 reverse-KL，侧重模式匹配
• 对比 DP-OPD 与 DistilDP 在计算流程、隐私消耗点和工程复杂度上的差异
• 思考控制码作为条件输入时的隐私假设是否合理，尤其在元数据敏感场景

质量说明

• 采用来源：raw，raw/papers/2026/04/2604.04461.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的方法描述、实验设置、基线对比与消融分析，结果数据具体，技术路线清晰，具备可复现性。