概念导读
统一处理 text + vision + audio + speech 输入/输出的大语言模型范式。代表模型: GPT-4o, qwen3-omni, emova 等。
- 架构方案对比
- 方案 1: Thinker-Talker 双轨 (主流)
- 方案 2: Codec-free Embedding 方案
- 方案 3: Text-centric 统一对齐
- 方案 4: 轻量插件式扩展
- 方案 5: Frozen MLLM + Diffusion 合成 (新增)
- 语音生成路线竞争 (2026 最新)
- 关键技术维度
Omni-Modal LLM
统一处理 text + vision + audio + speech 输入/输出的大语言模型范式。代表模型: GPT-4o, qwen3-omni, emova 等。
架构方案对比
方案 1: Thinker-Talker 双轨 (主流)
| 模型 | Thinker | Talker/生成 | Codec | 流式延迟 |
|---|---|---|---|---|
| qwen3-omni | MoE 30B-A3B | MoE 3B + MTP + ConvNet | Multi-codebook RVQ | 234ms |
| mgm-omni | MLLM | SpeechLM | Token-based | ~300ms |
优势: 解耦推理与生成，可独立优化。Talker 可利用 Thinker 的高层表示。 劣势: 需要两个模块的协调训练。
方案 2: Codec-free Embedding 方案
| 模型 | 方法 | 特点 |
|---|---|---|
| salmonn-omni | Embedding-based | 无量化损失，全双工 |
| Stream-Omni | CTC layer mapping | 极少语音数据 |
优势: 避免量化损失，数据需求低。 劣势: 生成质量可能受限，工业部署成熟度低。
方案 3: Text-centric 统一对齐
| 模型 | 对齐方式 | 特点 |
|---|---|---|
| emova | S2U + text bridge | 语义-声学分离 |
| Stream-Omni | CTC mapping | 差异化对齐 |
优势: 不需要三模态数据。 劣势: 能力上限受文本模态约束。
方案 4: 轻量插件式扩展
| 模型 | 方法 | 特点 |
|---|---|---|
| speech-omni-lite | 冻结 VL backbone + speech projector | 极低成本 |
| Speech-Omni-Lite | QTATS 数据构造 | 数千小时即可 |
优势: 不损害原有 VL 能力，可迁移。 劣势: 性能天花板受限于 backbone。
方案 5: Frozen MLLM + Diffusion 合成 (新增)
| 模型 | 理解模块 | 生成模块 | 特点 |
|---|---|---|---|
| audio-omni | Qwen2.5-Omni-3B (frozen) | DiT + Rectified Flow | 理解+生成+编辑统一 |
优势: 充分利用 frozen MLLM 的语义能力，编辑能力原生支持。 劣势: 不能帧级流式，延迟高（需完整 ODE 求解）。
语音生成路线竞争 (2026 最新)
路线 A: Multi-codebook AR + ConvNet (实时交互)
├── Qwen3-Omni (234ms), Qwen3-TTS 12Hz (97ms)
├── 帧级自回归，可流式
└── 适用: 实时对话、语音助手
路线 B: Frozen MLLM + DiT / Rectified Flow (创作工具)
├── Audio-Omni (7.9B, 3.05B 可训)
├── 整体合成 + 双流条件注入
└── 适用: 音频创作、编辑、跨语言控制
判断: 两条路线解决不同问题，短期内不会一方取代另一方。 - 路线 A 追求"边想边说"的实时性 - 路线 B 追求"想清楚再做"的高质量+可编辑
关键技术维度
Audio Encoder
| 方案 | 训练数据 | Token Rate | 特色 |
|---|---|---|---|
| qwen3-omni AuT | 20M 小时 | 12.5 Hz | 从头训练，ASR+音频理解多任务 |
| qwen3-asr AuT | 40M 小时 | 12.5 Hz | 专门 ASR 优化，动态注意力窗口 |
| Qwen-Audio | 多任务 | - | 30+ 任务，层级标签避免干扰 |
| Whisper | 680K 小时 | - | OpenAI，广泛使用 |
| whisper-aut | Whisper 微调 | - | 领域适配，小数据高效 |
Speech Codec / Tokenizer
| 方案 | Codebook 数 | Frame Rate | 延迟 |
|---|---|---|---|
| qwen3-omni Multi-codebook | 多层 RVQ | 12.5 Hz | 234ms |
| qwen3-tts 25Hz | Single | 25 Hz | ~200ms |
| qwen3-tts 12Hz | 16层 | 12.5 Hz | 97ms |
| salmonn-omni | 无 (codec-free) | - | - |
| emova S2U | 共享 codebook | - | - |
Pseudo-Unification: 统一的幻觉 (新增)
pseudo-unification-entropy 用信息论熵探测揭示了关键问题：
参数共享 ≠ 信息流统一。表面上"统一"的 UMM 存在双重分歧：
- Modality-Asymmetric Encoding: 视觉和语言走不同熵轨迹（大模型对视觉过早压缩）
- Pattern-Split Response: 文本生成高熵（创造），图像生成低熵（保真），两个模态的生成范式根本不同
对 Omni 模型的启示: - Qwen3-Omni 的 Thinker-Talker 解耦是否也引入了 pattern-split？ - Audio-Omni 的 frozen MLLM + DiT 解耦，信息流是否真正统一？ - 真正的统一需要 contextual prediction 式的共享编码-生成逻辑（如 Harmon 模型）
只有信息流一致，才不是伪统一。
RL 后训练在 Omni 上的进展 (新增)
| 方法 | 基座模型 | RL 策略 | 提升 |
|---|---|---|---|
| omnijigsaw | Qwen3-Omni-30B-A3B | 自监督时间重排 + GRPO | AoTBench +4.02%, MLVU +4.38% |
| g2rpo | Qwen3-Omni-30B-A3B | Gaussian OT advantage | 18 benchmark 全面提升 |
| omni-r1 | Qwen2-VL | PeRPO (perception-calibrated RL) | 生成式多模态推理 |
| qwen3-asr | Qwen3-ASR-1.7B | GSPO | ASR 鲁棒性显著提升 |
趋势: RL 后训练从文本/视觉扩展到音频/多模态，perception-calibrated reward 成为关键创新。
生成式多模态推理 (新增)
omni-r1 开辟了新范式：推理过程中生成中间图像（放大、标注、辅助线）。
- 传统: 视觉输入 → 文本推理 → 文本答案
- Omni-R1: 视觉输入 → 文本+图像交错推理 → 文本答案
- Omni-R1-Zero: 从纯文本数据 bootstrap，无多模态标注也能达到同等效果
性能对比矩阵 (2024-2026)
| 模型 | 视觉-语言 | ASR (WER) | TTS 质量 | 音频编辑 | 全双工 | 延迟 | 参数 | 开源 |
|---|---|---|---|---|---|---|---|---|
| qwen3-omni 30B | SOTA | SOTA | 优秀 | - | 半双工 | 234ms | 30B+ | Apache 2.0 |
| qwen3-asr 1.7B | - | SOTA | - | - | - | 92ms | 2B | Apache 2.0 |
| audio-omni 7.9B | 良好(frozen) | - | WER 1.77 | SOTA | 否 | 高 | 7.9B | 即将开源 |
| emova 7B | SOTA | 2.9-5.8 | 优秀 | - | 否 | - | 7B | 部分 |
| salmonn-omni | 否 | 优秀 | 良好 | - | 是 | - | - | 即将 |
| mgm-omni | 良好 | 1.8 CER | 优秀 | - | 否 | ~300ms | - | GitHub |
| speech-omni-lite | 保持 | 良好 | 良好 | - | 否 | 1346ms | 8B | - |
关键趋势
- MoE 成为标配: qwen3-omni 和 mgm-omni 均采用 MoE 提升并发效率
- Codec 进化: 从 block-wise diffusion → multi-codebook AR + ConvNet，延迟大幅降低
- 数据规模: Audio encoder 从百万小时级别提升到 2000 万+ 小时
- 全双工探索: salmonn-omni 的 codec-free 方案是一条新路
- 模块化/插件化: speech-omni-lite 证明数千小时即可给 VL 模型加语音能力
- RL for Omni: GRPO/GSPO 从文本 RLVR 扩展到音频/多模态 RL 后训练
- 生成式推理: omni-r1 证明推理过程本身可以是多模态的
- 统一性的信息论审视: pseudo-unification-entropy 揭示"参数共享 ≠ 信息统一"
- 双路线并行: 实时交互 (AR+ConvNet) vs 创作编辑 (Frozen MLLM+DiT) 各自深耕
开放问题
- 全双工 + 多模态理解 + 生成能否统一？(当前多为取舍)
- Codec-free vs Codec-based 最终谁胜出？
- 语音数据 scaling law 边界在哪？
- 端侧部署 (sub-1B) 的能力天花板？
- Omni 模型的"无退化"在信息论层面是否成立？(需要熵探测验证)
- 生成式推理 (Omni-R1) 的开销能否通过 latent reasoning 降低？
关联
- speech-llm — Speech LLM 更广泛概念
- full-duplex-speech-model — 全双工专项
- qwen3 — Qwen3 基础模型系列
- qwen3-omni / qwen3-asr / qwen3-tts — Qwen3 语音家族
- audio-omni — 音频理解+生成+编辑统一框架
- omnijigsaw — Omni 模型 RL 后训练
- omni-r1 — 生成式多模态推理
- pseudo-unification-entropy — 信息论审视统一性
- g2rpo — Gaussian GRPO for multimodal RL