Qwen3-Omni 技术报告

一句话定位

Qwen3-Omni 是一个统一的多模态模型，首次在文本、图像、音频和视频四种模态上实现无性能退化，并在36个音频与视听基准测试中达到开源SOTA。

小学生也能听懂

这篇论文造了一个像“万能小帮手”的AI，能同时看懂文字、图片、听懂声音和视频，还能边听边实时说话，又快又准，在36个测试中打败了其他AI，还能用119种语言聊天。

为什么值得记录

首次在同等规模下单模态模型性能不退化前提下实现全模态统一建模
在36个音频与视听基准中，32项达开源SOTA，22项整体SOTA，超越Gemini-2.5-Pro等闭源模型
支持119种文本语言、19种语音理解语言和10种语音生成语言，具备强跨语言能力
实现端到端首包延迟低至234ms的实时流式语音交互，适用于工业级高并发场景
提出Thinking模型支持任意模态推理，填补通用音频描述模型空白

核心方法

采用Thinker-Talker MoE架构：Thinker负责文本生成与多模态理解，Talker专司流式语音合成
引入自研Audio Transformer (AuT) 编码器，基于2000万小时监督音频从头训练，支持12.5Hz低码率表示与实时预取缓存
使用Time-aligned Multimodal Rotary Position Embedding (TM-RoPE)，统一建模跨模态时序对齐，支持任意时长流式输入
Talker采用多码本自回归生成机制：主干预测第0码本，MTP模块预测残差码本，实现帧级流式输出
Code2Wav模块由块级DiT替换为轻量因果ConvNet，显著降低合成延迟与计算开销
预训练分三阶段：编码器对齐 → 通用多模态训练（2万亿token）→ 长上下文增强（32K序列长度）
后训练分Thinker、Talker、Captioner三条路径，分别通过SFT+强到弱蒸馏+GSPO、CPT+DPO+说话人微调、音频描述微调实现能力对齐

关键结果

在MMLU-Redux、GPQA等文本任务上与同规模Qwen3单模态模型持平，无性能退化
在36个音频与视听基准中，32项达开源SOTA，22项整体SOTA，优于Gemini-2.5-Pro、Seed-ASR、GPT-4o-Transcribe
支持最长40分钟音频输入的ASR与口语理解任务
冷启动下理论端到端首包延迟为234ms（音频）/547ms（视频），RTF<1保证连续流式输出
Qwen3-Omni-30B-A3B-Captioner可生成高保真、低幻觉的任意音频详细描述

局限与风险

未公开具体训练数据构成与清洗策略，影响复现性
语音生成仅支持10种语言，覆盖范围仍有限
高并发下首包延迟显著上升（6并发时达1172ms），实际部署需权衡资源与响应速度
未报告模型在低资源语言或非西方文化语境下的鲁棒性表现

适合沉淀的概念

thinker-talker-architecture, audio-transformer-aut, tm-rope, multi-codebook-streaming-generation, moe-multimodal-model, end-to-end-first-packet-latency, audio-captioning-model, non-degradation-multimodal-training

阅读注意

重点关注2.5节中Chunked Prefilling与MoE架构如何协同降低TTFT
注意AuT编码器采用动态窗口注意力以平衡实时缓存效率与离线任务性能
Table 2展示了不同并发度下的延迟分解，是评估工业部署可行性的关键
4.3节提出的Captioner填补了通用音频描述模型的研究空白，值得深入阅读附录案例
6节‘非退化评估’是验证多模态统一建模成功与否的核心证据

质量说明

采用来源：clean，papers/2025/09/2509.17765.md
生成模型：LongCat-Flash-Chat
源材料判断：论文结构完整，方法描述清晰，实验充分，数据可信。虽部分训练细节未披露，但整体信息足以支撑技术理解与评估。