LongCat-Flash-Omni Technical Report

LongCat-Flash-Omni 技术报告

一句话定位

提出 LongCat-Flash-Omni，一个 560B 参数的端到端开源全模态模型，支持低延迟实时音视频交互，采用渐进式训练策略与模态解耦并行架构实现高效多模态融合。

小学生也能听懂

这篇论文造了一个能听、能看、能聊天的超级大脑，像真人一样实时回应你说话和画面，它用特别聪明的方法把文字、图像、声音和视频合在一起训练，又快又准，还开源给大家用。

为什么值得记录

• 首个在开源社区中实现 560B 参数规模且支持毫秒级响应实时音视频交互的全模态模型
• 提出模态解耦并行（MDP）训练策略，在多模态异构数据下仍保持 >90% 的文本训练吞吐量
• 采用早期融合与课程式渐进训练，兼顾强单模态性能与跨模态理解能力
• 支持 128K 上下文窗口，具备长期记忆与多轮对话能力，适用于复杂交互场景
• 开源模型权重与完整技术方案，推动全模态智能研究社区发展

核心方法

• 基于 LongCat-Flash 的 ScMoE 架构（Shortcut-connected MoE + zero-computation experts），平均激活 27B 参数
• 视觉编码器 LongCat-ViT 支持原生分辨率输入与任意宽高比，使用 2D-RoPE 与像素解 shuffle 降低计算复杂度
• 音频处理采用四码本 tokenizer（LongCat-Audio-Codec）与流式音频解码器，实现仅 3 帧前瞻的低延迟语音重建
• 流式音视频特征采用时间对齐的块级交错机制（chunk-wise interleaving）输入 LLM，支持实时交互
• 视频处理引入动态帧采样（默认 2 FPS）、文本时间戳标记与三级 token 压缩（3D 卷积 + 插值下采样）
• 训练采用五阶段渐进策略：从文本 → 图像-文本 → 音频-文本 → 视频 → 全模态交互数据，逐步引入模态
• 提出模态解耦并行（MDP）策略，独立优化 LLM、视觉编码器与音频编码器的并行配置与内存使用

关键结果

• 在 Omni-Bench 和 WorldSense 等全模态基准测试中达到开源模型 SOTA 水平
• 在 MMLU-Pro、CMMLU、C-Eval 等文本任务上表现与同规模模型相当，未出现模态退化
• 在图像理解（如 OCRBench）、视频理解（如 MVBench）、音频理解（如 Clotho-AQA）等单模态任务中均具竞争力
• 主观评估显示其支持高质量、低延迟的实时音视频交互，端到端响应时间达毫秒级
• 训练系统效率：MDP 策略使多模态训练吞吐量维持在纯文本训练的 90% 以上

局限与风险

• 未公开具体训练数据规模与来源细节，部分数据依赖内部专有数据集
• 音频编码器仅在预训练后期（阶段 5）引入，早期依赖离散 token 可能限制细粒度声学建模
• 视频处理中最大帧数限制与 token 压缩可能损失长视频中的细节信息
• 未报告模型在极端低资源设备上的部署性能与量化方案

适合沉淀的概念

全模态模型, 模态解耦并行, 早期融合训练, 流式音视频交互, ScMoE 架构, LongCat-ViT, 音频 tokenizer, 动态帧采样, 文本时间戳, 课程式渐进训练

阅读注意

• 关注 Section 2.4.2 中流式特征交错机制的具体实现格式与时间同步策略
• 注意 Section 3.2.6 提到的五阶段训练流程及各阶段数据组成变化
• Section 5 中 MDP 策略如何解耦不同模块的并行方式（如张量并行、流水线并行）是关键创新点
• 音频解码器采用 GAN 训练框架，需结合 LongCat-Audio-Codec 原论文理解其结构
• 评估部分应对比其与 Gemini-2.5、GPT-4o 等闭源模型在相同任务上的差距

质量说明

• 采用来源：raw，raw/papers/2025/11/2511.00279.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文为完整技术报告，涵盖架构、数据、训练、部署与评估全流程，信息充分且自洽，但未提供部分实验细节（如具体超参、消融实验），属合理范围。