概念导读
将差分隐私（Differential Privacy）与 OPD 结合，在保持蒸馏效果的同时提供正式的隐私保证。
- 定义
- 核心方法
- 差分隐私 + OPD
- 正式隐私保证
- 高效模型适配
- 实验结果
- 开放问题
- Related
DP-OPD: Differentially Private On-Policy Distillation
将差分隐私（Differential Privacy）与 OPD 结合，在保持蒸馏效果的同时提供正式的隐私保证。
定义
DP-OPD 在 on-policy distillation 框架中引入差分隐私机制，保护训练数据中的敏感信息，同时维持模型适配效率。
核心方法
差分隐私 + OPD
- 在 OPD 的 student rollout 和 teacher feedback 过程中注入隐私保护
- 通过 DP-SGD 或类似机制对梯度进行加噪和裁剪
- 保护训练数据中可能存在的敏感信息
正式隐私保证
- 提供 $(\epsilon, \delta)$-differential privacy 保证
- 隐私预算可在训练过程中严格追踪
- 相比传统 DP 微调，DP-OPD 利用 teacher 的 dense signal 缓解隐私噪声带来的性能损失
高效模型适配
- 利用 OPD 的 token 级密集监督，部分抵消 DP 噪声的影响
- 在隐私-效用 tradeoff 上优于纯 DP-SFT
实验结果
- DP-OPD 在相同隐私预算下优于 DP-SFT baseline
- 保持了 OPD 相对于 SFT 的效率优势
- 正式隐私保证可在实际部署中满足合规要求
开放问题
- 隐私预算 $\epsilon$ 与 OPD 性能下降之间的量化关系？
- DP-OPD 是否适用于 self-distillation 场景？
- 与 lightning-opd 的离线预计算能否结合？