CosyVoice 2：基于大语言模型的可扩展流式语音合成

一句话定位

提出 CosyVoice 2，通过有限标量量化、统一文本-语音语言模型和分块因果流匹配，实现低延迟、高质量、支持流式与非流式统一框架的零样本语音合成。

小学生也能听懂

这篇论文发明了一个叫 CosyVoice 2 的“语音魔法盒”，它能像真人一样边听边说话（流式），也能一口气说完（非流式），还能模仿不同人的声音和情绪，而且又快又清楚，就像手机里的智能语音助手变得更聪明了。

为什么值得记录

首次在一个统一模型中同时支持流式与非流式语音合成，降低部署复杂度
采用预训练 LLM（Qwen2.5-0.5B）作为文本-语音语言模型主干，提升上下文理解能力
引入有限标量量化（FSQ）替代 VQ，显著提高语音 token 的码本利用率
提出分块感知因果流匹配机制，使扩散模型支持流式生成，填补 NAR 模型流式化空白
集成自然语言与细粒度指令控制，支持情感、口音、角色风格等多样化语音生成

核心方法

使用 SenseVoice-Large ASR 编码器插入 FSQ 模块构建监督式语义语音 tokenizer，输出 25Hz 离散语音 token
采用 Qwen2.5-0.5B 作为文本-语音语言模型，移除文本编码器和说话人嵌入，直接以原始文本为输入进行自回归 token 预测
设计混合序列构造策略：非流式模式下拼接完整文本与语音 token；流式模式下按 N:M 比例交错排列文本与语音 token，并引入填充 token 处理未输入文本
构建分块因果流匹配模型，通过四种掩码（非因果、全因果、Chunk-M、Chunk-2M）支持不同延迟-质量权衡场景，训练时随机采样掩码实现多场景兼容
使用最优传输（OT）流匹配 ODE 建模 Mel 频谱生成过程，结合分类器无关引导（CFG）提升生成质量
引入可微 ASR 奖励（LASR）和 DPO 强化学习优化 SFT 阶段，联合优化发音准确性与说话人相似度

关键结果

在 SEED 测试集上，CosyVoice 2 达到人类水平自然度（NMOS 0.721），流式模式下合成质量几乎无损
第一包延迟低至 M·(d_lm + d_fm + d_voc)，适用于实时语音交互场景（如 GPT-4o 语音聊天）
多说话人微调（mSFT）后，说话人相似度（SS）从 0.697 提升至 0.795，WER 保持稳定
ASR 奖励优化在跨域测试中表现优于 DPO，尤其在重复文本等困难样本上更具泛化能力
支持中、英、日、韩等多语言零样本合成，语音 tokenizer 具备跨语言泛化能力

局限与风险

仅支持有限语言，字符集重叠的语言（如中日韩混用）合成性能可能下降
无法通过文本指令直接控制音色（timbre）等声学特征，限制角色扮演应用
不具备歌唱合成能力，音乐相关生成效果不佳
流式模式下仍需预设 N:M 比例，灵活性受限于分块策略

适合沉淀的概念

finite-scalar-quantization, chunk-aware-causal-flow-matching, unified-streaming-nonstreaming-tts, text-speech-language-model, classifier-free-guidance, differentiable-asr-reward, multi-speaker-fine-tuning, low-latency-speech-synthesis

阅读注意

关注 FSQ 如何替代传统 VQ 并提升码本利用率（公式 1-2）
理解流式与非流式序列构造差异（图 2 及 2.3 节）
分析四种因果掩码的设计动机与适用场景（2.4 节）
注意 LASR 与 DPO 在强化学习中的对比实验结果（表 11）
查看开源地址 https://github.com/FunAudioLLM/CosyVoice 获取模型与演示

质量说明

采用来源：raw，raw/papers/2024/12/2412.10117.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的方法描述、实验设置与结果分析，包含消融实验与多维度评估，技术细节充分，复现路径清晰。