2507.05911

基于可微奖励优化的神经编解码器语言模型语音合成系统

一句话定位

提出一种可微奖励优化（DiffRO）方法，直接基于神经编解码器 token 预测奖励，避免传统 RLHF 中合成音频的计算开销，并结合多任务奖励模型实现发音准确性与情感属性的零样本控制。

小学生也能听懂

这篇论文发明了一种新方法，让电脑学说话时不用反复播放声音来打分，而是直接看文字预测的好坏来学习，就像老师直接改作文不用录音，还能让电脑说出开心、难过等不同情绪，而且说得特别清楚。

为什么值得记录

• 解决了传统 TTS 中 RLHF 依赖后端声码器生成音频导致计算成本高的问题
• 通过 Gumbel-Softmax 实现奖励函数对语言模型输入的可微性，简化训练流程
• 引入多任务奖励模型（MTR），支持从 ASR、情感识别、音质评估等多个维度提供反馈
• 在 seed-tts-eval 基准上实现 SOTA 的 WER 表现，并展示零样本情感与属性控制能力

核心方法

• DiffRO 直接从神经编解码器 token 序列预测奖励，而非通过合成音频，减少 FM 和 vocoder 的计算负担
• 使用 Gumbel-Softmax 替代 argmax 操作，使 token 采样过程可微，从而支持端到端反向传播优化
• 构建多任务奖励模型（MTR），集成 ASR、SER、SQA、年龄性别预测等下游任务，提供多维度反馈信号
• 将 MTR 输出的后验概率作为奖励函数，指导语言模型生成符合目标属性（如情感、音质）的 token 序列
• 在 CosyVoice2.0 基础上进行 SFT 和 DiffRO 微调，采用 4×A800 GPU 训练，学习率 1e-5，β=0.1

关键结果

• DiffRO-ASR 在 seed-tts-eval 中文子集上 WER 降至 0.78%，英文为 1.89%，显著优于基线 CosyVoice2.0 和 DPO 方法
• 在 CV3-Eval 日语和韩语测试中，DiffRO-ASR 的 WER 分别为 6.36% 和 5.41%，优于未见过该语言的基线模型
• DiffRO-MTR 在情感控制任务中，HAPPY、SAD、ANGRY 三类情感识别准确率分别达 100%、96%、92%（中文），优于 F5-TTS 和 GPT-SoVITS
• MTR 模型在 SQA、年龄性别预测任务上表现优于参考模型（如 DNSMOS、Qwen-Audio），证明编解码器 token 包含丰富声学信息

局限与风险

• DiffRO 对 MOS、年龄、性别等属性的控制受限于 FM 和 vocoder 的降噪能力，无法完全决定最终音频质量
• MTR 奖励可能引入与 ASR 无关的信息，导致发音准确性略有下降（如 DiffRO-MTR 在 hard 子集 WER 高于 DiffRO-ASR）
• 实验仅基于 CosyVoice2.0 架构，未验证在其他神经编解码器 LLM 上的通用性
• 情感控制依赖预训练 SER 模型的质量，未见真实人类主观评价（如 MOS）

适合沉淀的概念

differentiable-reward-optimization, neural-codec-language-model, gumbel-softmax, multi-task-reward-model, reinforcement-learning-from-human-feedback, speech-emotion-recognition, zero-shot-tts, token2reward-prediction

阅读注意

• 关注 DiffRO 如何绕过音频合成直接优化 token 序列，对比 DPO 的 preference pair 构造难点
• 注意 MTR 模型的结构设计：前端嵌入层 + 多任务注意力池化，支持 codec token 输入
• 分析表 4 中 MOS-Codec 与 MOS-Audio 的差异，理解前端 LM 与后端 FM/vocoder 的解耦影响
• 图 3 展示 laughter 和 breath 等副语言现象的生成，体现 MTR 对非文本信息的建模能力

质量说明

• 采用来源：raw，raw/papers/2025/07/2507.05911.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的实验设置、基线对比和定量结果，方法描述清晰，图表辅助说明充分，具备可复现性。