概念

speech-model rl optimization

创建2026-05-01

更新2026-05-01

阅读量级4 分钟

概念导读

DiffRO 是阿里通义语音团队于 2025 年 7 月提出的一种针对基于神经 codec LLM 的 TTS 系统的新型后训练方法。全称 Differentiable Reward Optimization，核心创新是直接在 codec token 上计算奖励并使奖励函数完全可微，从而绕过传统 RLHF 中昂贵的波形生成步骤。

问题背景
现有方法的局限
DiffRO 核心方法
Token2Reward 预测
多任务奖励模型 (MTR)
与 DPO 的对比
实验结果
关键设计选择

DiffRO (Differentiable Reward Optimization)

DiffRO 是阿里通义语音团队于 2025 年 7 月提出的一种针对基于神经 codec LLM 的 TTS 系统的新型后训练方法。全称 Differentiable Reward Optimization，核心创新是直接在 codec token 上计算奖励并使奖励函数完全可微，从而绕过传统 RLHF 中昂贵的波形生成步骤。

论文：arXiv 2507.05911

问题背景

传统 RLHF 应用于 TTS 系统面临三大挑战：

计算成本极高：TTS 系统需要额外的 Flow Matching (FM) 和 vocoder 模型将离散 codec token 转换为波形音频。每次奖励评估都需要完整的后处理流水线，导致大规模 RLHF 数据生成极其昂贵。
样本多样性不足：虽然 codec LLM 可以用不同采样策略和随机种子从同一文本生成不同 token 序列，但经过 FM + vocoder 后的音频高度相似，难以区分正负样本以训练 reward model。
评估维度复杂：TTS 质量需要从发音准确度、韵律自然度、说话人相似度、情感表达等多个维度评估。简单的好/坏二元分类不够充分。

现有方法的局限

方法	问题
PPO	需要 FM + vocoder 生成波形 → 计算成本巨大；reward model 需要大量正负样本对
DPO	简化为单阶段但仍需构造偏好/非偏好数据集；音频高度相似导致样本对区分困难；二元分类无法覆盖多维度质量
UNO (Chen et al.)	使用非配对正负样本缓解多样性问题，但仍需波形生成
RIO (Chen et al.)	通过反转 prompt 生成额外正样本，但仍是 token-level 间接方案
ASR/SER-based RL	用 ASR WER 或 SER 准确率作为奖励，但仍有波形生成瓶颈

DiffRO 核心方法

Token2Reward 预测

DiffRO 直接在 codec token 上预测奖励，而非合成后的音频：

训练 Token2Text 模型：在 ASR 训练数据上训练一个类似 ASR 的 Token2Text 模型，该模型从 codec token 序列预测文本 token 的后验概率。
奖励定义：使用 Token2Text 模型对输入文本 Y 的后验概率作为奖励：

R_ASR(Y) = log P_ASR(Ỹₙ = Yₙ | Y₁:ₙ₋₁; Ũ₁:ₜ)

即：ASR 模型从采样 token 序列 Ũ 中正确预测目标文本 Y 的概率的对数。

Gumbel-Softmax 采样：用 Gumbel-Softmax 替代 argmax 来采样 LLM 预测的 token，使整个奖励函数关于 TTS 系统的输入文本可微：

Ũₜ = GumbelSoftmax(P_πθ(μₜ | μ₁:ₜ₋₁; Y))

直接反向传播优化：由于奖励函数完全可微，可以直接通过反向传播优化 LLM 以最大化奖励分数，无需 PPO 或 DPO 训练循环：

π*θ = max_πθ E[R(Y)] - β · D_KL[πθ(μ|Y) || π_ref(μ|Y)]

其中 KL 散度在输出 token-level logit上计算，而非序列级后验概率。

多任务奖励模型 (MTR)

除了 ASR 奖励，DiffRO 还可以结合多个下游任务，确保预测的 token 序列包含所有必要信息：

训练 codec-based 语音理解模型：用多任务训练方法，使模型能够执行 SER（情感识别）、SQA（语音质量评估）、AED（音频事件检测）等任务。
MTR 奖励函数：

R_MTR(Y, {Aᵢ}) = Σᵢ log P_taskᵢ(Ãᵢ = Aᵢ | Ũ)

其中 {Aᵢ} 是要控制的音频属性（如情感类别、质量等级等）。

零样本属性控制：通过最大化 MTR 模型预测的后验概率，可以使 TTS 系统按照预设偏好或输入指令生成具有特定情感/质量属性的音频。

与 DPO 的对比

维度	DPO	DiffRO
奖励来源	波形音频 (FM + vocoder)	Codec token 直接预测
可微性	不可微，需 RL 循环	完全可微 (Gumbel-Softmax)
优化方式	PPO / DPO 偏好优化	直接反向传播
样本需求	需要大量正负样本对	不需要配对样本
计算成本	高 (每次需 vocoder)	低 (无需 vocoder)
反馈维度	二元 (好/坏)	多维度 (ASR + SER + SQA + AED)
信号密度	序列级标量	token-level 密集梯度

实验结果

在 SEED-TTS-Eval benchmark 上达到 SOTA WER 结果
显著改善 TTS 系统的发音准确度
集成 MTR 后实现零样本情感和属性控制
已应用于 cosyvoice-3 的后训练阶段

关键设计选择

Token-level vs 波形-level：codec token 携带文本的所有信息，无需经过 FM + vocoder 即可获得足够的奖励信号。
Gumbel-Softmax vs argmax：argmax 不可微，Gumbel-Softmax 提供可微的软采样，温度参数控制采样锐度。
Token-level KL vs 序列级 KL：在输出 token 的 logit 上计算 KL 散度，提供更精细的逐 token 正则化，防止模型偏离参考模型过远。
多任务奖励：单一 ASR 奖励只关注发音准确度，MTR 提供情感、质量、事件等多维度反馈，使 TTS 能响应复杂指令。

适用范围

DiffRO 不仅适用于 CosyVoice 系列，还可推广到其他基于离散 token 的语音合成模型，包括： - 任何 neural codec LLM-based TTS 系统 - 需要 RLHF/后训练的语音生成模型 - 需要多维度可控性的语音合成场景