CosyVoice 3：面向真实场景的语音生成模型

一句话定位

提出 CosyVoice 3，通过数据与模型规模扩展、新型语音 tokenizer 和差分奖励优化，实现高质量零样本多语言语音合成。

小学生也能听懂

这篇论文造了一个叫 CosyVoice 3 的“声音复印机”，它能用很少的录音模仿任何人说话，支持多种语言和方言。它用了更多数据和更大的模型，还改进了声音编码方法，让合成语音更自然、更像真人，还能听懂指令控制语气和情感。

为什么值得记录

首次将训练数据从万小时级扩展至百万小时级，覆盖9种语言和18种中文方言，显著提升语言与领域多样性
提出基于 MinMo 模型的多任务监督训练语音 tokenizer，增强韵律自然度和副语言信息建模能力
设计可微奖励优化（DiffRO）方法，避免传统 RL 在语音生成中的高计算成本与反馈模糊问题
模型参数量从 0.5B 增至 1.5B，验证了模型规模扩展对语音合成性能的持续提升作用
发布 CV3-Eval 基准，支持真实场景下的零样本语音合成评估

核心方法

语音 tokenizer 基于 MinMo 语音理解大模型，插入 FSQ 量化模块，并通过 ASR、LID、SER、AED、SA 等多任务联合训练
采用 Differentiable Reward Optimization (DiffRO) 进行后训练：使用 ASR-like Token2Text 模型计算 token 级奖励，结合 Gumbel-Softmax 采样与 KL 散度约束进行端到端优化
支持多任务奖励（MTR），整合情感、MOS、事件检测等下游任务，实现细粒度语音属性控制
引入发音修复机制，扩展 tokenizer 词表以支持汉字-拼音、英文-音素混合输入，提升发音可控性
利用 LLM（Qwen-Max）构建文本归一化自训练数据，增强对原始文本（含数字、符号）的鲁棒性
通过自然语言指令实现多语言说话人转换与风格控制，支持超100种情感、角色、口音等表达类型
训练流程包含大规模预训练、DiffRO 后训练、持续预训练与多说话人微调四阶段

关键结果

在 SEED-TTS-Eval 上，CosyVoice 3 的 WER/CER 显著低于 CosyVoice 2，尤其在 test-en 和 test-hard 集上错误率降低明显
多语言合成任务中，中、英、德、西、法、意、俄语的内容一致性（CER/WER）均低于 4%
日语合成 CER 为 9%，韩语为 6%，受限于数据质量与字符转换复杂度
说话人相似度与韵律自然度在主观评测中达到 SOTA 水平（具体 MOS 未给出数值）
百万小时训练数据 + 1.5B 参数模型组合在跨语言语音克隆任务中表现最优

局限与风险

无法通过文本指令直接控制音色（timbre），限制了角色扮演类应用
歌唱语音生成效果不佳，需额外加入歌唱数据训练 tokenizer 与 LM
DiffRO 依赖高质量的 ASR 与下游任务模型，存在误差传播风险
日语合成性能受限，因汉字转假名引入额外错误及多音字问题

适合沉淀的概念

cosyvoice-3, speech-tokenizer, differentiable-reward-optimization, diffro, multilingual-tts, zero-shot-speech-synthesis, scaling-laws, post-training, minmo-model, fsq-quantization

阅读注意

重点关注 DiffRO 如何绕过音频生成直接优化离散 token，以及其与 RLHF 的区别
注意语音 tokenizer 的训练数据来源与多任务设计细节（表3）
图1展示了与主流模型在内容一致性与说话人相似度上的对比，是核心结果
第2.6节提出的‘单语说话人转多语’机制依赖自然语言指令，值得复现参考
CV3-Eval 基准构建方法见第5节，基于 Common Voice、FLUERS 等真实数据

质量说明

采用来源：raw，raw/papers/2025/05/2505.17589.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的方法描述、实验设置与结果分析，关键创新点清晰，数据与模型规模有具体数字支撑，但未提供主观评分（如 MOS）的具体数值。