美团 LongCat 团队发布的旗舰级开源 MoE 大语言模型（arXiv 2509.01322，2025-09）。560B 总参数，18.6B~31.3B 动态激活（平均 27B），专为计算效率和 Agentic 能力设计。
- 一、核心参数
- 二、架构创新
- Zero-Computation Experts（零计算专家）
- Shortcut-Connected MoE (ScMoE)
- 方差对齐设计（Variance Alignment）
- 模型配置细节
- 三、预训练
- 三阶段课程
LongCat-Flash
美团 LongCat 团队发布的旗舰级开源 MoE 大语言模型（arXiv 2509.01322，2025-09）。560B 总参数，18.6B~31.3B 动态激活（平均 27B），专为计算效率和 Agentic 能力设计。
一、核心参数
| 参数 | 值 |
|---|---|
| 总参数量 | 560B |
| 激活参数量 | 18.6B~31.3B（平均 ~27B），动态分配 |
| 层数 | 28 层（不含 MTP 层） |
| 隐藏维度 | 6144 |
| 注意力头数 | 64，每头维度 128 |
| KV 压缩维度 | 512 |
| Query 压缩维度 | 1536 |
| FFN 中间维度（dense） | 12288 |
| FFN 专家中间维度 | 2048 |
| FFN 专家数 | 512 |
| 零计算专家数 | 256 |
| 每 token 激活专家数 | 12（含零计算专家） |
| 上下文窗口 | 128K tokens |
| 词表大小 | 131,072 |
| 预训练数据量 | 20+ trillion tokens |
| 训练时间 | 30 天 |
| 训练算力 | 5万~6万张国产计算卡 |
二、架构创新
LongCat-Flash 的核心设计理念：不是所有 token 都值得同等计算。通过两项架构创新实现动态计算分配。
2.1 Zero-Computation Experts（零计算专家）
核心思想：在 MoE 专家池中混入"零计算专家"——被选中的零计算专家直接将输入原样返回，不消耗任何 FLOPs。
数学表达：
MoE(x_t) = Σ(i=1 to N+Z) g_i · E_i(x_t)
其中 N 个标准 FFN 专家 + Z 个零计算专家。零计算专家 E_i(x_t) = x_t。
动态计算预算控制：
路由器为每个 token 选择 K 个专家，其中真实 FFN 专家的数量根据 token 重要性动态调整。通过 PID 控制器调节专家偏置：
Δb_i = μ · (K_e/K · 1/N - T_i / (K · T_all))
- μ：偏置自适应率
- K_e：期望激活的 FFN 专家数（< K）
- T_i：路由到第 i 个专家的 token 数
- T_all：全局 batch 中的总 token 数
PID 控制器确保专家分配收敛到目标比例。实验表明，约 20B tokens 调整后，所有层的平均激活专家数收敛到期望值，波动 <1%。
负载均衡控制：
在语料级均衡基础上，引入设备级负载均衡损失，防止 EP 组间的极端不均衡。将零计算专家视为一个额外组：
L_LB = α · Σ(j=1 to D+1) f_j · P_j
其中 D+1 组包含所有零计算专家，确保 FFN 专家与零计算专家的比例趋近 K_e/(K-K_e)。
2.2 Shortcut-Connected MoE (ScMoE)
问题：MoE 模型的大规模训练/推理受限于通信开销——all-to-all 通信必须在计算前完成。
方案：ScMoE 引入跨层 shortcut，重排执行流水线：前一层的 dense FFN 与当前 MoE 层的 dispatch/combine 通信并行执行。
优势： - 相比 shared-expert 仅重叠一个专家的计算，ScMoE 重叠整个前一层的计算，窗口更大 - 训练：前一块的计算与 MoE 的 dispatch/combine 通信完全并行 - 推理：Single Batch 重叠流水线，TPOT（每输出 token 时间）降低约 50% - 节点内 NVLink 通信（dense FFN 的 TP）与节点间 RDMA 通信（MoE 的 EP）同时执行
无损质量：训练损失曲线与无 ScMoE 的基线几乎完全一致，在多种配置下（2.4B-16B MoE + MLA、3B-20B + MHA、15B-193B + GQA）均验证。
2.3 方差对齐设计（Variance Alignment）
2.3.1 MLA 尺度修正
LongCat-Flash 使用修正的 MLA（Multi-head Latent Attention），引入尺度修正因子 α_q 和 α_kv：
α_q = √(d_model / d_q)
α_kv = √(d_model / d_kv)
原因：查询/键向量的各组件方差与源维度成正比。RoPE 键组件 k_t^R 的方差 ∝ d_model，而低秩路径组件的方差 ∝ d_q 或 d_kv。当 d_q、d_kv、d_model 变化时，这种维度差异导致注意力分数在初始化时不稳定。
2.3.2 专家初始化方差补偿
LongCat-Flash 采用 DeepSeek-MoE 的细粒度专家策略（每个专家分割为 m 个更细粒度的专家）。分割导致： 1. Gating Dilution：softmax 门控分布在更多专家上，单个 gating 值幅度降低 → 输出方差降低 m 倍 2. 维度缩减：每个细粒度专家的中间隐藏维度降低 m 倍 → 单个专家输出方差降低 m 倍
补偿因子 γ = m（两个 m 倍效应的叠加）。
2.4 模型配置细节
Tokenizer：BPE，131,072 词表。继承 GPT-4 预分词框架，改进：(1) 增强 CJK 字符分割，(2) 独立数字 tokenization 提升数学能力。
Multi-Token Prediction (MTP)：辅助训练目标，使用单个 dense 层（非 MoE）作为 MTP 头。MTP 损失收敛快，在训练中期引入以平衡性能与预测准确率。MTP 头在评估中达到 >90% 接受率。
三、预训练
三阶段课程
- 通用预训练：~20T tokens，序列长度 8192，建立基础模型
- 推理与代码增强：万亿级推理/代码数据，增强数学和编程能力
- 长上下文扩展：训练上下文长度至 128K
训练策略
超参数迁移（Hyperparameter Transfer）
基于宽度缩放理论，从小模型（proxy）迁移最优超参数到大模型：
- 宽度缩放因子 s = n_target / n_proxy = 8（proxy 宽度 768）
- 在 proxy 上搜索最优初始化方差 σ²_proxy 和学习率 η_proxy
- 按"Adam LR Full Align"规则迁移：
- Embedding：σ² 和 η 不变
- Hidden/Unembedding：σ²_target = σ²_proxy / s，η_target = η_proxy / s
模型增长初始化（Model Growth）
采用 layer stacking 技术：先训练 14 层模型，然后堆叠为 28 层。
L_small = l₁ ∘ l₂ ∘ ... ∘ l_n
L_target = L_small ∘ L_small （r=2 次堆叠）
模型增长的特征损失轨迹：初始上升 → 加速收敛 → 超越随机初始化基线。原因：(1) 小模型更快收敛提供更高质量的参数初始化，(2) 增长操作作为隐式正则化防止参数坍缩。
训练稳定性套件
路由器稳定性：监控两个指标： - 路由器权重相似度：专家权重向量的平均成对余弦相似度 - 梯度范数比 R_g：R_g = ‖α∇L_LB‖₂ / ‖∇L_LM‖₂
推荐 R_g < 0.1，确保负载均衡项作为正则器而不压倒 LM 损失。
激活稳定性（Hidden z-loss）：
L_Z = (λ/T) Σ_t (log Σ_i exp(|z_t^i|))²
极小的 λ 即可显著抑制大规模激活现象，降低 BF16 训练中的数值错误风险。
优化器稳定性：精细调整 Adam epsilon 参数。
确定性计算：保证实验完全可复现，支持 SDC（静默数据损坏）检测。
训练基础设施
- 数值精度控制与故障检测
- Kernel 优化（确定性与性能）
- 大规模分布式训练策略
- 可靠性与可观测性
- 98.48% 时间可用率，无需人工干预故障恢复
四、后训练
4.1 推理与代码
- 数学：多阶段数学推理训练
- 代码：代码生成与理解
- 逻辑推理：形式化与常识推理
4.2 Agentic 工具使用
多智能体合成框架生成高质量 Agentic 训练数据，任务难度沿三个轴定义： 1. 信息处理复杂度 2. 工具集复杂度 3. 用户交互复杂度
使用专用控制器生成需要迭代推理和环境交互的复杂任务。
4.3 通用能力
- 指令跟随
- 长上下文
- 安全性
五、推理与部署
模型特定优化
- 计算与通信编排：ScMoE 架构天然支持计算-通信重叠
- 投机解码：MTP 头作为 draft model，>90% 接受率
- KV Cache 压缩：MLA 的 KV 压缩维度 512
系统级优化
- 最小化调度开销
- 自定义 Kernel
- 量化（FP8/BF16）
实测性能
| 指标 | 值 |
|---|---|
| 推理吞吐 | >100 tokens/秒（H800） |
| 推理成本 | $0.70 / 百万 output tokens |
| FP8 部署 | 单节点 8xH20-141G |
| BF16 部署 | 双节点 16xH800-80G |
六、评测表现
基础模型评测
与 DeepSeek-V3.1、Kimi-K2 等非推理前沿模型相当，使用更少参数且推理更快。
指令微调模型评测
| Benchmark | 分数 |
|---|---|
| ArenaHard-V2 | 86.5 |
| TerminalBench | 39.5 |
| τ²-Bench | 67.7 |
| Meeseeks | 与前沿 LLM 相当 |
| VitaBench | 优于其他 LLM |
Meeseeks：美团自研 benchmark，通过迭代反馈框架模拟真实人机交互，评估多轮指令跟随能力。
VitaBench：美团自研 benchmark，利用真实业务场景评估复杂现实任务处理能力。
七、开源信息
- 在线体验：https://longcat.ai
- HuggingFace：https://huggingface.co/meituan-longcat
- GitHub：https://github.com/meituan-longcat
- 协议：MIT
八、相关页面
- longcat-flash-omni — LongCat-Flash-Omni：全模态版本
- longcat-flash-thinking — LongCat-Flash-Thinking：推理版本
- longcat-flash-thinking-2601 — LongCat-Flash-Thinking-2601：升级版推理
- longcat-video — LongCat-Video：视频生成版本
- longcat-image — LongCat-Image：图像生成版本
- longcat-next — LongCat-Next：原生多模态自回归版本
- mixture-of-experts — MoE 架构概念
- speculative-decoding — 投机解码概念