Stream-Omni

ICT/CAS 发布的 text-centric 多模态对齐框架，支持同时视觉理解和语音交互。

核心创新: 差异化模态对齐

• Vision → Text: Sequence-dimension 拼接（语义互补关系）
• Speech → Text: CTC-based Layer-dimension mapping（语义一致关系）

这一设计使 Speech 对齐不需要大量语音数据，能直接将文本能力迁移到语音。

优势

• 同时输出 ASR 转写 + 模型响应（语音交互时）
• 少量语音数据即可训练（vs qwen3-omni 的 20M 小时）
• 视觉理解: GQA 80.7%, VQA-v2 78.2%
• 语音交互: WER 3.0 (test-clean)

与 Qwen3-Omni 对比

关联

• qwen3-omni — 更重量级的统一方案
• emova — 同为 text-centric 对齐
• speech-llm — Speech LLM 概念