SALM-Duplex：高效直接的语音到语音双向建模模型

一句话定位

小学生也能听懂

这个模型像两个会说话的小机器人，一个听你说话，一个马上用你的声音回话，不用提前学很多课文，插话也能快速回应，声音更像真人，还能边说边改，让聊天更自然流畅。

为什么值得记录

首次实现无需大规模语音-文本预训练的双向S2S模型，显著降低构建门槛和资源消耗
采用分离式用户（预训练编码器）与代理（可微调编解码器）建模，支持代理音色个性化并提升生成质量
在 barge-in（插话）成功率、响应延迟和语音质量等关键交互指标上优于现有模型如Moshi
开源训练与推理代码，推动双向语音对话模型的可复现性和社区发展
提出系统化的评估指标（如插话成功率、误触发率、首响延迟），为领域建立评测基准

核心方法

模型由三部分组成：100M参数的流式CTC语音编码器（处理用户输入）、TinyLlama-1.1B作为主干LLM、NanoCodec编解码器（生成代理语音）
用户语音经编码器生成连续嵌入，代理语音通过4码本NanoCodec以12.5Hz生成离散token，文本与语音通道在轮次级别对齐后送入LLM
引入通道融合机制，允许模型同时预测文本和语音输出，并通过小延迟（1 token）优化语音对文本上下文的依赖
训练数据包含合成与真实口语问答、多轮对话及插话增强数据，总时长约26.5k小时，涵盖角色扮演、日常话题等场景
损失函数中文本权重为3，语音权重为1；使用FusedAdam优化器与逆平方根退火学习率调度
编解码器支持个性化微调：在21k目标说话人语料上微调NanoCodec，显著提升音色相似度（SECS从0.57→0.94）和语音质量（MOS从4.54→4.75）
模型完全流式处理，支持实时双向交互，用户可随时插话，代理能在0.69秒内响应中断

关键结果

在UltraChat和Impatient测试集上，插话成功率分别达83.0%和94.5%，高于Moshi的56.0%和55.1%
插话响应延迟为0.69秒，优于Moshi的0.81秒；首响延迟为0.72秒（受数据中0.64秒静音间隔影响）
语音质量UTMOS达4.3，优于Moshi的3.9；个性化编解码器在0.6kbps下MOS达4.75，超过1.2kbps NanoCodec和1.1kbps Mimi
推理能力（GPT评分）在多数数据集上优于Moshi，尤其在Topic（6.1 vs 2.8）和ASR-QA（7.8 vs 1.9）表现突出
ASR-BLEU指标显示个性化编解码器使生成语音的文本匹配度提升至18.7，高于基础版本的16.2

局限与风险

首响延迟受训练数据中固定0.64秒静音间隔影响，可能不适用于极低延迟场景
未与完整级联系统（含VAD、流式ASR、TTS）进行端到端对比，推理性能差距可能部分源于前端误差
模型规模较小（1.1B LLM），复杂推理任务表现仍落后于最优级联系统（GT+LLM）
依赖高质量TTS合成训练数据，真实场景泛化能力需进一步验证

适合沉淀的概念

speech-to-speech-modeling, duplex-conversation, barge-in-handling, streaming-speech-encoder, neural-audio-codec, codec-personalization, turn-taking-modeling, end-to-end-speech-dialogue

阅读注意

关注模型如何实现‘无语音预训练’——关键在于使用预训练流式编码器处理用户输入，避免从头训练语音理解模块
注意数据构造细节：通过插入静音和截断代理语音模拟插话行为，是模型学会实时响应的关键
编解码器个性化部分展示了如何通过少量目标说话人数据微调，显著提升生成语音的自然度和音色一致性
评估指标设计全面，尤其‘插话成功率’和‘误触发率’对实际产品落地具有重要参考价值
开源代码位于NeMo框架下，便于复现和二次开发

质量说明

采用来源：clean，papers/2025/05/2505.15670.md
生成模型：LongCat-Flash-Chat
源材料判断：论文材料完整，包含架构图、数据表、实验结果和开源链接，方法描述清晰，实验设计合理，结果可验证。