总览 / 实体 / Qwen3.5-Omni
↗ 源 Markdown
实体
model architecture multimodal speech-model training on-policy distillation
创建2026-04-26
更新2026-04-26
阅读量级5 分钟
来源2604.15804
实体导读

Qwen Team 发布的最新 Omni 模型（arxiv 2604.15804，2026-04-17/21），Qwen-Omni 家族的重大演进。相比 qwen3-omni，在规模、对齐、实时交互上有全面升级。

  1. 关键参数
  2. 架构：Thinker-Talker
  3. 核心改进
  4. 延迟指标
  5. AuT 音频编码器
  6. 预训练（三阶段）
  7. Temporal Positioning 改进
  8. 后训练

Qwen3.5-Omni

Qwen Team 发布的最新 Omni 模型（arxiv 2604.15804，2026-04-17/21），Qwen-Omni 家族的重大演进。相比 qwen3-omni，在规模、对齐、实时交互上有全面升级。

关键参数

  • 规模：数千亿参数（Hybrid MoE 架构）
  • 上下文长度：256k tokens
  • 音频理解：支持 10+ 小时连续音频
  • 视频理解：400 秒 720P（1 FPS）
  • 多语言：文本 201 种语言/方言，语音输入 74 种语言 + 39 种中文方言，语音输出 29 种语言 + 7 种中文方言
  • 变体：Qwen3.5-Omni-Plus 和 Qwen3.5-Omni-Flash

架构：Thinker-Talker

延续 qwen3-omni 的 Thinker-Talker 双轨架构，但有重大改进：

核心改进

  1. Hybrid MoE backbone：Thinker 和 Talker 均采用 Hybrid Attention Mixture-of-Experts 设计，提升扩展性，平衡多模态理解和生成的容量与效率
  2. 统一多模态输入：音频和视频 interleaved 输入，显式插入 timestamp 提升时间感知（替代 TMRoPE）
  3. ARIA (Adaptive Rate Interleave Alignment)：替代 Qwen3-Omni 的 dual-track Talker input，动态对齐 text 和 speech units 后再 interleaving，解决 tokenizer 速率不匹配导致的跳词、错读、数字渲染模糊等问题
  4. RVQ-based speech representation：继承自 Qwen3-Omni，大幅提升推理效率
  5. Chunk-wise streaming：Thinker 分块流式输入 + Talker 流式设计，实现超低延迟端到端对话

延迟指标

指标 Plus Flash
First-Packet Latency (Audio) 435ms 235ms
First-Packet Latency (Video) 651ms 426ms

AuT 音频编码器

  • 从头训练的 Transformer-based attention-encoder-decoder
  • 40M 小时音频-文本对训练（Qwen3-ASR 生成）
  • 4 层 Conv2D 下采样 16 倍 → 6.25Hz token rate
  • 支持 20+ 种语言，中:英:多语言 = 3.5:3.5:3
  • Dynamic attention window size training

预训练（三阶段）

  1. Encoder Alignment (S1)：LLM 参数来自 Qwen3.5 锁定，单独训练 vision encoder（来自 Qwen3.5）和 audio encoder（AuT），先训 adapter 再训 encoder
  2. General Stage (S2)：~4T tokens，全参数训练，32,768 seq length
  3. 文本 0.92T、音频 1.99T、图像 0.95T、视频 0.14T、视频-音频 0.29T
  4. Long Context (S3)：seq length 提升至 262,144，增加长音频/长视频数据比例

Temporal Positioning 改进

Qwen3-Omni 用 TMRoPE 做时间感知，但有两个问题： - 长音频/视频导致位置 ID 过大过稀疏 - 需要多帧率均匀采样数据，成本高

Qwen3.5-Omni 改用 显式 timestamp：在视频/音视频 temporal patch 前插入秒级格式化文本字符串，音频随机间隔插入 timestamp。

后训练

Thinker（三阶段）

  1. Specialist Distillation：从 Qwen3.5 基座独立 SFT + RL 训练各领域 teacher（文本、视觉、音频），再蒸馏到统一模型
  2. on-policy-distillation（OPD）：用 text-conditioned 高质量 response 作为 audio-conditioned query 的蒸馏目标，缩小音频/文本输入下的响应质量差距
  3. Interaction-Aligned RL：针对多轮对话中的语言切换、persona 不一致、长上下文指令跟随退化问题，用 RL 优化交互质量

Talker（四阶段）

  1. General：20M+ 小时多语言语音数据 + 多模态上下文
  2. Long-Context：数据质量分层 + CPT，扩展到 64k context
  3. RL：DPO（多语言偏好对）+ GSPO（rule-based rewards）
  4. Speaker Fine-tuning：voice cloning 和个性化语音生成

性能亮点

ASR（FLEURS test）

  • Qwen3.5-Omni-Plus：平均 WER 6.6%，超越 Gemini-3.1 Pro（7.3%）和 GPT-4o-Transcribe（10.4%）
  • 粤语 2.2% vs Gemini 6.3%（大幅领先）
  • Qwen3.5-Omni-Flash：WER 10.8%，粤语 3.1% vs Gemini-3-Flash 10.8%

翻译（FLEURS）

  • Plus en2xx BLEU 33.8 vs Gemini 31.8，zh2xx 21.4 vs 19.6
  • 粤语翻译大幅领先（+15.6 BLEU in xx2zh）

综合

  • Qwen3.5-Omni-Plus：215 项音频/音视频子任务 SOTA
  • 关键音频任务超越 Gemini-3.1 Pro，综合音视频理解持平

与 Qwen3-Omni 的关键差异

维度 Qwen3-Omni Qwen3.5-Omni
架构 Dense Hybrid MoE
上下文 较短 256k
Talker 输入 Dual-track ARIA 动态对齐
时间感知 TMRoPE 显式 timestamp
多语言 较少 74 种语言 + 39 种方言
后训练 标准 Specialist Distillation + OPD + Interaction RL

开放问题

  • MoE 架构下的训推一致性问题（routing 在训练/推理时是否一致？）
  • ARIA 机制的更多技术细节尚未公开
  • Flash vs Plus 的具体参数规模差异
  • OPD 在 audio-text cross-modal 蒸馏中的具体损失函数设计
  • qwen3-omni — 前代 Qwen3-Omni，Thinker-Talker 架构起源
  • qwen3-asr — Qwen3-ASR，Qwen3.5-Omni AuT 训练数据由其生成
  • qwen3 — Qwen3 系列 LLM 基座
  • omni-modal-llm — Omni-Modal LLM 范式总览
  • on-policy-distillation — OPD 在 Qwen3.5-Omni 后训练中的关键角色
  • omnijigsaw — Qwen3-Omni 的 RL 后训练技术（时间重排）