2411.18138

SALMONN-omni：一种无编解码器的全双工语音理解与生成模型

一句话定位

提出首个无编解码器（codec-free）的全双工端到端语音大模型 SALMONN-omni，支持实时语音理解与生成，并通过“思考”机制处理对话中的动态交互如抢话、回声消除等。

小学生也能听懂

这篇论文发明了一个叫SALMONN-omni的“聪明耳朵”，它能一边听人说话一边马上回应，不用先转成文字再说话，还能在别人插话时立刻停下，像真人聊天一样自然。

为什么值得记录

• 首次实现无需语音编解码器的全双工语音理解与生成一体化架构，避免传统模块化系统的误差累积问题
• 支持流式输入输出，可实时处理用户语音和环境声音，同时生成语音响应，适用于自然对话场景
• 引入“思考”机制和状态转移标记（/），有效建模说话/非说话状态切换，提升对话灵活性
• 在语音识别、增强、问答、抢话处理、回声抑制等多个任务上验证了统一模型的泛化能力
• 为下一代低延迟、高自然度人机语音交互系统提供了可复现的技术原型

核心方法

• 采用端到端架构，集成流式语音编码器、大语言模型（LLM）和流式语音合成器，三者通过嵌入向量直接连接，避免中间文本或离散 token 的使用
• 设计周期性同步机制，将对话划分为固定时长的时间块（Δt），每个块内处理一段输入语音并生成固定数量文本嵌入
• 引入“思考”机制，使用 特殊 token 作为 LLM 输入，在不强制输出的情况下维持模型对输入流的持续感知
• 定义两种状态：说话态与非说话态，通过 和 标记控制状态转换，实现动态响应控制
• 训练时采用三部分损失函数：文本生成损失、语音生成损失和“思考”损失，其中“思考”损失权重 λ_think < 0，鼓励模型在静默期保持内部处理
• 使用 LibriHeavy（6万小时）和 GigaSpeech（1万小时）数据进行多任务联合训练，涵盖语音识别、增强、问答等任务
• 合成数据用于模拟抢话（barge-in）、轮次切换等自然对话行为，增强模型对交互动态的适应能力

关键结果

• 在流式语音识别任务中，SALMONN-omni 能够实时将输入语音转换为文本，无需额外 ASR 模块
• 在语音增强任务中，模型可听 noisy 语音并输出清晰重述内容，实现去噪与去混响
• 在口语问答场景中，模型能正确处理轮次切换，在适当时机开始或停止说话
• 在上下文无关抢话实验中，当用户说“Yes”时，模型能立即停止生成语音；对其他输入或无输入则继续说话
• 在带回声消除的抢话实验中，模型能区分自身输出语音与用户输入，不受回声干扰，准确响应抢话指令
• 在上下文相关抢话场景中，模型可根据语义判断是否中断：若用户提前回答正确则停止，若输入无关则忽略并继续

局限与风险

• 目前实验基于模拟环境，真实世界复杂声学条件下的鲁棒性仍需进一步验证
• “思考”机制依赖负权重损失设计，可能影响训练稳定性，需谨慎调参
• 模型未公开具体架构细节（如 LLM 规模、编码器/合成器结构），限制了复现与深入分析
• 缺乏与传统模块化系统或 codec-based 全双工模型（如 Moshi、SyncLLM）的定量对比结果
• 实时性指标（如端到端延迟、吞吐量）未明确报告，影响实际部署评估

适合沉淀的概念

full-duplex-speech-model, codec-free-speech-generation, streaming-speech-processing, thinking-mechanism-in-llm, barge-in-handling, echo-cancellation-in-conversational-ai, end-to-end-speech-understanding, multimodal-llm-for-speech

阅读注意

• 关注‘thinking’机制如何通过负损失权重实现内部状态维持，而不显式输出思考内容
• 注意时间块（time block）同步机制如何协调听觉与语言模态的对齐
• 观察模型在抢话场景中如何结合上下文判断是否中断，体现语义理解与交互策略的融合
• 思考为何选择嵌入而非离散 token（如 SoundStream 或 EnCodec 输出）作为中间表示，及其对训练和推理的影响
• 留意合成数据在训练动态对话行为中的作用，以及其对泛化能力的贡献

质量说明

• 采用来源：raw，raw/papers/2024/11/2411.18138.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了清晰的方法描述、实验案例和架构图，虽缺少部分技术细节（如模型规模、训练配置）和定量指标，但核心思想与创新点表达完整，具备可理解性和参考价值。