总览 / 实体 / LongCat-Flash-Omni
↗ 源 Markdown
实体
model architecture multimodal speech-model training inference alignment open-source
创建2026-04-27
更新2026-04-27
阅读量级5 分钟
来源2511.00279
实体导读

美团 LongCat 团队发布的全模态开源模型（arXiv 2511.00279，2025-11）。560B 总参数，27B 激活参数，在开源模型中达到 SOTA 级别的全模态能力，同时保持强单模态性能。

  1. 核心参数
  2. 架构设计
  3. 整体架构：端到端统一框架
  4. ScMoE (Shortcut-connected MoE)
  5. 多模态融合策略：Early Fusion
  6. 训练策略
  7. 多阶段渐进式预训练
  8. 数据管线（2.5T+ tokens）

LongCat-Flash-Omni

美团 LongCat 团队发布的全模态开源模型（arXiv 2511.00279，2025-11）。560B 总参数，27B 激活参数，在开源模型中达到 SOTA 级别的全模态能力，同时保持强单模态性能。

核心参数

  • 总参数：560B（Shortcut-connected MoE，含 zero-computation experts）
  • 激活参数：27B
  • 上下文窗口：128K tokens
  • 训练数据：2.5T+ tokens（多模态预训练）
  • 开源：HuggingFace + GitHub 全开源

架构设计

整体架构：端到端统一框架

与 Qwen3-Omni 的 Thinker-Talker 双轨不同，LongCat-Flash-Omni 采用单 LLM Backbone 直接生成 speech tokens 的架构：

  1. Vision Encoder：处理图像/视频输入，支持任意宽高比和原生分辨率
  2. Audio Encoder：将音频转换为特征 token
  3. LLM Backbone (LongCat-Flash)：核心处理单元，直接生成 text + multi-codebook speech tokens
  4. Audio Decoder：将 speech tokens 重建为波形（~600M 参数）

所有模块均支持流式推理：audio encoder、vision encoder、audio decoder 都是轻量级组件（各约 600M 参数）。

ScMoE (Shortcut-connected MoE)

继承自 LongCat-Flash 的核心创新： - Zero-computation experts：部分专家网络不参与计算，仅作为信息路由通道 - Shortcut connection：跨层直接连接，加速梯度传播和推理 - 效果：在 560B 总参数下仅激活 27B，实现高效多模态融合

多模态融合策略：Early Fusion

  • Vision 和 Audio features chunk-wise interleaved 后输入 LLM
  • 不同于 late fusion（各模态独立编码后再拼接），early fusion 允许模态在 LLM 内部深度交互
  • 支持 streaming audio-visual 输入

训练策略

多阶段渐进式预训练

从简单到复杂逐步引入模态，解决跨模态异质性挑战：

  1. Stage 1: Text Pretraining：纯文本预训练底座
  2. Stage 2: Audio 引入：逐步加入音频数据
  3. Stage 3: Visual 引入：加入图像/视频数据
  4. Stage 4: 多模态联合训练：平衡的多模态数据混合

数据管线（2.5T+ tokens）

音频数据处理流程： 1. VAD 分割长音频为说话片段 2. 双 ASR 模型交叉验证，过滤不一致片段 3. 多语言强制对齐（Forced Alignment），获取精确时间戳 4. 计算 speech duration / text length 比值，过滤异常（0.5~99.5 百分位） 5. 合并间隔 <10s 的相邻片段

Speech-Text Interleaved 数据构建： - 将音频按标点分割为片段 (A1,T1), (A2,T2), ... - 随机 mask 部分 audio 或 text 成分 - 形成如 (T1, A2+T2, T3, A4+T4, ...) 的交错训练样本

训练基础设施：模态解耦并行

针对多模态训练的数据和模型异质性，设计了modality-decoupled parallelism scheme： - 文本-only 训练的 90%+ 吞吐量保持率 - 解决多模态训练中不同模态数据长度差异大的问题

后训练与对齐

人类在环数据构建

  • 针对多轮对话、时间推理、记忆能力构建专用数据
  • 128K token 上下文窗口支持长程交互

流式交互优化

  • 支持 streaming audio/video 输入 + streaming speech 输出
  • 严格低延迟约束下的计算效率优化

性能表现

图像理解（vs Gemini-2.5-Flash / Qwen3-Omni）

Benchmark LongCat-Flash-Omni Gemini-2.5-Flash Qwen3-Omni
MMBench-EN 87.5 89.3 86.8
MathVista 77.9 77.1 75.9
MMMU 70.7 76.3 69.1
BLINK (多图) 63.1 56.1 65.0
MuirBench 77.1 62.1 74.6
OCRBench 84.9 85.6 85.5
RefCOCO (Grounding) 93.9 74.8 91.6

优势领域：多图理解、Grounding、文档理解。

视频理解

Benchmark LongCat-Flash-Omni Gemini-2.5-Pro Qwen3-VL
MVBench SOTA - -
VideoMME w/ audio SOTA (Omni类) - -
VideoMME w/o audio SOTA - -
LongVideoBench 持平 Gemini-2.5-Pro - -

关键创新：dynamic frame sampling + hierarchical token aggregation

音频理解

  • 在 AudioCaps、Clotho 等基准上达到或超越 Qwen3-Omni
  • 支持 74+ 种语言 ASR

全模态 Benchmark

Benchmark 结果
Omni-Bench 开源 SOTA
WorldSense 开源 SOTA

与 Qwen3-Omni 的关键差异

维度 LongCat-Flash-Omni Qwen3-Omni
架构 单 Backbone 直接生成 speech Thinker-Talker 双轨
MoE ScMoE + zero-computation experts Dense MoE
参数量 560B (27B 激活) 未公开
上下文 128K 较短
开源 完全开源 部分开源
训练数据 2.5T+ tokens 未公开
流式输入 Chunk-wise interleaved 双轨输入

开放问题

  1. 560B 参数的高效部署：尽管激活参数仅 27B，但 560B 总参数的存储和加载仍是挑战
  2. zero-computation experts 的理论理解：为什么"不计算"的专家能提升性能？
  3. 多模态 Scaling Law：2.5T tokens 是否足够？更大的数据规模能否继续提升？
  4. 情感理解：与 EmoOmni 相比，LongCat 在情感对话上的能力尚未充分评估
  5. OPD 应用：论文未明确提及 OPD，其 speech-text 交错训练本质上是一种自蒸馏