Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model

Stream-Omni：支持多模态同步交互的大语言-视觉-语音模型

一句话定位

提出一种基于文本中心对齐策略的多模态模型 Stream-Omni，通过序列维度拼接实现视觉-文本对齐，通过 CTC 驱动的层维度映射实现语音-文本对齐，从而在较少三模态数据（仅 2.3 万小时语音）下实现高效的跨模态能力迁移，并支持语音交互过程中同步输出中间文本结果。

小学生也能听懂

这篇论文造了一个能同时看、听、说和写的神奇AI，像个小助手，它用聪明的方法把图片、声音和文字连起来，不用太多数据就能学会，还能一边听你说话一边马上写出和说出回答，又快又准。

为什么值得记录

• 解决了现有多模态模型依赖大规模三模态数据进行数据驱动对齐的问题，显著降低数据需求（仅使用 2.3 万小时语音数据）
• 提出层维度语音-文本映射机制，利用 CTC 损失实现语义一致性对齐，有效将 LLM 的文本知识迁移至语音模态
• 支持灵活的多种模态组合交互（如 Vision+Speech→Speech），并在语音交互中同步生成 ASR 转录和模型响应文本，提升用户体验
• 在视觉理解、语音交互和视觉 grounding 语音交互任务上均达到与专用模型相当或更优的性能

核心方法

• 采用 LLaMA-3.1-8B 作为主干 LLM，SigLIP 作为视觉编码器，CosyVoice 的 tokenizer 和 decoder 处理语音
• 视觉-文本对齐：使用标准序列维度拼接方式，将视觉特征与文本 token 拼接后输入 LLM
• 语音-文本对齐：引入底部和顶部语音层，底部层通过 CTC 解码器实现语音单元到文本的表示对齐，顶部层实现文本到语音的生成
• 对齐融合机制：利用 CTC 序列中的位置对齐信息，指导顶部语音层在生成每个语音单元时融合对应窗口内的文本表示（窗口大小 W=5），实现文本引导的流式语音生成
• 三阶段训练策略：第一阶段对齐视觉-文本（LLaVA 数据），第二阶段对齐语音-文本（ASR + 合成语音数据），第三阶段联合训练三模态任务（Vision+Text→Text, Vision+Speech→Text, Vision+Speech→Speech）
• 推理时采用 wait-k 策略（k=3），在生成 3 个文本 token 后开始流式生成语音，并通过 CTC 判断当前文本对应的语音是否生成完毕

关键结果

• 在 11 个视觉 benchmark 上平均得分 64.7%，优于 VITA-1.5（64.0%）且接近专用视觉模型 LLaVA-NeXT（62.6%）
• 在 SpokenQA 任务中，S→T 平均准确率 60.3%，S→S 平均准确率 46.3%，显著优于 Moshi、GLM-4-Voice 等离散单元模型，且仅使用其 1/30 的语音数据
• 在自建 SpokenVisIT 基准上，Stream-Omni 在 Vision+Speech→Speech 设置下 GPT-4o 评分高于 VITA-1.5，且响应一致性更好（避免因输入模态不同而产生矛盾回答）
• 语音生成质量高，可生成长达 30 秒的连贯语音，且与文本输出高度一致

局限与风险

• 依赖外部 TTS 模型（CosyVoice）合成训练数据，可能引入合成偏差，影响真实场景泛化能力
• CTC 对齐机制假设语音与文本存在严格时序对应，对口语中的重复、犹豫、非标准表达鲁棒性有限
• 当前仅支持单轮交互，未验证在多轮对话中的长期一致性表现
• 模型参数量为 8B，虽优于部分同类模型，但在复杂推理任务上仍可能受限于 LLM 基础能力

适合沉淀的概念

multimodal-alignment, speech-text-mapping, ctc-loss, layer-dimension-fusion, streaming-speech-generation, vision-language-speech-model, efficient-multimodal-training, wait-k-policy

阅读注意

• 重点关注 3.1.2 节中 CTC 如何用于语音-文本对齐以及 3.2.2 节的三阶段训练流程
• 注意对比 Stream-Omni 与 VITA-1.5 在架构设计上的核心差异：前者采用分层对齐，后者为简单序列拼接
• 附录 A 和 B 提供了 InstructOmni 和 SpokenVisIT 的构建细节，对复现和数据集构建有参考价值
• 图 4 和图 5 的案例展示了模型在真实场景下的表现，尤其注意 VITA-1.5 在不同输入模态下产生矛盾回答的问题

质量说明

• 采用来源：clean，papers/2025/06/2506.13642.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的架构图、训练策略、实验设置和案例分析，数据构造方法清晰，代码和模型已开源，实验对比充分，结论可信。