总览 / 概念 / Co-Evolving Policy Distillation (CoPD)
↗ 源 Markdown
概念
distillation on-policy rl rlhf grpo
创建2026-05-02
更新2026-05-02
阅读量级8 分钟
来源2604.27083
概念导读

Series: Self-Taught RLVR 系列第三篇（前作：RLSD / NPO）

  1. 一、核心问题定义
  2. 范式 A: Mixed RLVR（混合数据训练）
  3. 范式 B: Static OPD（先训专家再蒸馏）
  4. 二、理论分析：Behavioral Consistency Hypothesis
  5. 核心公式
  6. Pilot Study 两个关键实验
  7. 三个耦合要求
  8. 三、CoPD 完整算法

Co-Evolving Policy Distillation (CoPD)

arXiv: 2604.27083 Authors: Naibin Gu, Chenxu Yang, Qingyi Si, Chuanyu Qin, Dingyu Yao, Peng Fu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang (中科院信工所 + 京东) Date: April 2026 Series: Self-Taught RLVR 系列第三篇（前作：RLSD / NPO）

一、核心问题定义

把多个专家能力合并到一个模型，现有两种范式都有严重损失：

范式 A: Mixed RLVR（混合数据训练）

  • 所有数据混入一个池子做 GRPO
  • Capability divergence: 不同能力的优化方向冲突，一个涨了另一个掉
  • 实验：Mixed RLVR 的 text reasoning (55.48) 远低于 Text-Expert (57.89)

范式 B: Static OPD（先训专家再蒸馏）

  • 各自 RLVR 训到收敛 → 单向 OPD 蒸馏
  • Behavioral pattern gap: 专家训完后与学生行为差距太大，蒸馏信号吸不进去

二、理论分析：Behavioral Consistency Hypothesis

核心公式

OPD 效率 η 与 teacher-student top-k overlap (Oₖ) 正相关：

$$\eta \propto O_k(\pi_T, \pi_\theta)$$

其中 $O_k$ 定义为：

$$O_k(\pi_T, \pi_\theta) = \mathbb{E}{x, y \sim \pi\theta}\left[ \frac{|\text{top-}k(\pi_T(\cdot|x, y_{<t})) \cap \text{top-}k(\pi_\theta(\cdot|x, y_{<t}))|}{k} \right]$$

Pilot Study 两个关键实验

实验 1: η 随 Oₖ 单调上升 - 固定 teacher，用不同 temperature 构造不同 overlap 的 student - 结果：post-OPD gain 与 Oₖ 线性相关 r = 0.89, R² = 0.79 - 边界条件：Oₖ → 1 时 DKL(πT∥πθ) → 0，OPD 增益归零

实验 2: 标准 RLVR 把 overlap 推入低 η 区间 - 独立 RLVR 训练专家，跟踪与 base 的 overlap - top-k overlap 单调下降，symmetric KL 上升一个数量级 - 结论：静态 pipeline 在专家训完时恰好处于 η 最低区间

三个耦合要求

有效范式必须同时满足： 1. 蒸馏在专家训练期间发生（防止 Oₖ 漂移到低 η 区） 2. Teacher 随 student一起演化（主动维持 overlap） 3. 能力特定训练继续把两边拉开（保持监督信号信息量）

三、CoPD 完整算法

Phase I: Branch-Specific RLVR

每个分支 k 独立在自己的数据 Dₖ 上做 GRPO：

$$\mathcal{L}{\text{RLVR}}^{(k)}(\theta_k) = \mathbb{E}{x \sim D_k} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \min\left(\rho_{i,t}^{(k)} \hat{A}i^{\text{RL}}, \text{clip}(\rho{i,t}^{(k)}, 1-\epsilon, 1+\epsilon) \hat{A}_i^{\text{RL}}\right) \right]$$

其中 ρ 是 importance sampling ratio，A 是 group-level advantage（GRPO 标准公式）。

Phase II: Mutual OPD

分支 k 在对方的数据 Dⱼ 上采样 x'，生成 rollout $y^{(k)} \sim \pi_{\theta_k}(\cdot|x')$。

分支 j 作为 teacher 给出 token 级监督信号：

$$\delta_{i,t}^{(k \leftarrow j)} = \log \pi_{\theta_j}(y_{i,t}^{(k)} | x', y_{i,<t}^{(k)}) - \log \pi_{\theta_k}(y_{i,t}^{(k)} | x', y_{i,<t}^{(k)})$$

token-level advantage：

$$\hat{A}{i,t}^{(k)} = \beta_k \cdot \delta{i,t}^{(k \leftarrow j)}$$

βₖ 平衡跨分支蒸馏贡献。两个分支互为师生，双向蒸馏。

Algorithm 1: 完整伪代码

Require: Base model π_θ₀, K datasets {Dₖ}, rewards {rₖ}, cycles N, steps S_RLVR, S_OPD
Initialize: θₖ ← θ₀ for all k

for n = 1 to N:
    # Phase I: Branch-specific RLVR (all branches parallel)
    for k = 0 to K-1 (并行):
        θₖ ← RLVR(θₖ; Dₖ, rₖ, S_RLVR)    # Eq.7 GRPO

    # Phase II: Mutual OPD (all branches parallel)
    for k = 0 to K-1 (并行):
        for s = 1 to S_OPD:
            # Native: generate rollouts on Dₖ, GRPO with rₖ
            # Cross-branch: for each j≠k:
            #   generate rollouts on Dⱼ from π_θₖ
            #   compute teacher signal δ^(k←j) from π_θⱼ  (Eq.8)
            #   Â^(k) = βₖ · δ^(k←j)
            # Combine native + cross-branch batches, update θₖ

# Merge co-evolved branches
θ* ← Merge(θ₀, θ₁, ..., θₖ₋₁)
return θ*

K > 2 扩展： hub-and-spoke 拓扑。text reasoning 分支作为 hub，image/video 作为 spoke。

交替训练节奏

S_RLVR : S_OPD 比例消融： - 最优比 1.5 : 1 — RLVR 探索足够多（产生互补知识），但不能太多（否则对齐变弱） - 训练动力学：RLVR phase 使 overlap 下降，OPD phase 恢复，全程 > 0.90 - Static OPD baseline: overlap 单调下降，KL 上升一个数量级

四、完整实验结果

2-branch (text + image), Qwen3-VL-4B-Instruct

Benchmark Base Img-Exp Txt-Exp Mixed RLVR OPD(V→T) OPD(T→V) CoPD
MMMU 65.06 65.28 65.72 66.39 65.94 67.50 66.94
MMMU-Pro 53.03 53.89 53.05 54.28 54.09 54.71 55.10
MathVista 73.20 75.10 73.90 75.10 74.20 76.05 75.75
MathVision 55.07 55.69 55.82 56.96 55.82 56.53 57.88
ZeroBench_sub 21.41 21.41 22.01 21.86 21.41 21.71 24.40
WeMath 52.38 59.14 55.24 57.43 60.95 58.86 59.81
MathVerse 57.82 59.84 58.41 57.81 59.50 59.71 58.88
Vis. Avg. 54.00 55.76 54.88 55.69 55.99 56.44 56.97
AIME 2025 46.88 47.50 48.33 44.58 43.54 45.42 49.58
AIME 2024 58.96 55.83 60.21 57.92 59.79 58.33 60.42
HMMT 2025 25.83 21.67 27.50 24.17 25.83 26.67 30.83
MATH-500 92.80 93.90 93.65 93.55 93.45 93.40 94.50
Minerva Math 54.41 58.64 59.74 57.17 58.55 56.62 58.46
Text Avg. 55.78 55.51 57.89 55.48 56.23 56.09 58.76
Overall 54.74 55.65 56.13 55.60 56.09 56.29 57.71

CoPD 超过 Text-Expert 自己的领域 (58.76 vs 57.89) + 超过 Image-Expert 自己的领域 (56.97 vs 55.76)。

3-branch (text + image + video)

Base Img-Exp Txt-Exp Vid-Exp Mixed RLVR MOPD CoPD
Vis. Avg. 54.00 55.76 54.88 54.71 56.17 56.37 57.12
Text Avg. 55.78 55.51 57.89 56.84 55.39 56.80 58.63
Video Avg. 56.22 58.27 55.54 58.75 59.62 58.32 59.21
Overall 55.11 56.31 55.98 56.39 56.79 56.99 58.12

MOPD 在 video 上不如 Video-Expert (58.32 vs 58.75) — 多 teacher 静态蒸馏吸不全。

消融实验

变体 Image Avg Text Avg Overall
CoPD 完整 56.97 58.76 57.71
w/o I-OPD（去掉 img→txt 蒸馏） 56.78 57.41 57.04
w/o T-OPD（去掉 txt→img 蒸馏） 56.48 57.78 57.02
Text-Branch Only（不 merge） 56.26 58.61 57.24
Image-Branch Only（不 merge） 56.78 57.17 56.94

关键结论：即使不 merge，单分支也超过 static OPD！co-evolution 本身就产生均衡能力。merge 只是巩固互补优势。

五、训练配置

  • 框架：EasyVideoR1 (verl + EasyR1)
  • Max input/output length: 16,384 tokens
  • LR: 1e-6 (固定)
  • Rollout batch: 256, 每 prompt 8 rollouts, temperature 1.0
  • Clipping: ε_low = 0.2, ε_high = 0.28
  • 总步数 = 两个单领域 expert 步数之和（保证数据吞吐量一致）

六、与现有方法对比

Method 训练 蒸馏 能力损失原因
Mixed RLVR 单池混合 N/A 跨域干扰，inter-capability divergence
Static OPD 专家训到收敛 → 蒸馏 单向、后训练 teacher-student 行为差距过大
MOPD 多专家训到收敛 → 多教师蒸馏 单向、后训练 教师越多吸收越不全
CoPD 并行 RLVR + 交替 OPD 双向、训练中 最小化

七、批判性分析

优势

  • 理论扎实：top-k overlap + symmetric KL 定量刻画行为距离
  • 实验充分：pilot study → 主实验 → 消融 → 动力学 → 比例分析
  • 工程可行：parameter merge 简单

不足/疑问

  1. Merge 策略过于简单 — 只是参数平均，没考虑不同参数空间差异。对 MoE 需要更精细设计
  2. 只用 Qwen3-VL-4B — 无 larger model 实验，scaling behavior 未知
  3. βₖ 没有消融 — 论文说 βₖ 平衡跨分支蒸馏贡献，但没给实验
  4. Compute 成本 — K 分支并行，总 compute 是单分支 K 倍，没讨论 compute efficiency

对我们的启发

  • MOE 训推一致性：CoPD parallel branch 模式可用于 MoE expert 训练 — 每个 expert 在自己数据上 RLVR，同时互相 OPD，maintain behavioral overlap
  • OPD 时机：最核心贡献是证明 OPD 必须在训练期间做。直接指导 OPD schedule 设计
  • top-k overlap 作为诊断指标：可以用这个指标诊断 OPD 训练是否处于有效区间（Oₖ > 0.90）