美团 LongCat 团队发布的开源 MoE 推理模型（arXiv 2509.18883，2025-09）。基于 longcat-flash 560B 架构，通过长 CoT 冷启动 + 大规模 RL 两阶段训练，在复杂推理和 Agentic 任务上达到开源 SOTA。
- 一、核心参数
- 二、训练管线（两阶段）
- 阶段一：Long CoT 冷启动训练
- 阶段二：大规模强化学习（RL）
- 三、评测表现
- 四、开源信息
- 五、相关页面
LongCat-Flash-Thinking
美团 LongCat 团队发布的开源 MoE 推理模型（arXiv 2509.18883，2025-09）。基于 longcat-flash 560B 架构，通过长 CoT 冷启动 + 大规模 RL 两阶段训练，在复杂推理和 Agentic 任务上达到开源 SOTA。
一、核心参数
| 参数 | 值 |
|---|---|
| 总参数量 | 560B（MoE，继承自 LongCat-Flash） |
| 激活参数量 | ~27B（平均） |
| 上下文窗口 | 128K tokens |
二、训练管线（两阶段）
阶段一：Long CoT 冷启动训练
目标：为 RL 阶段建立基础推理能力。
1. 中期预训练（Mid-training）
课程学习策略，增强内在推理能力： - STEM 数据：数学、科学推理 - 代码数据：代码生成与理解 - 逻辑推理：形式化与常识推理
2. 推理导向 SFT
- 通用推理：STEM + 代码 + 逻辑 + 通用 QA
- 形式化推理：
- 任务定义 → 命题形式化 → 迭代证明合成
- Agentic 推理：
- 工具使用查询选择
- 自动轨迹合成（多智能体框架生成复杂工具交互轨迹）
阶段二：大规模强化学习（RL）
RL 基础设施：DORA 系统
DORA（Dynamic ORchestration for Asynchronous rollout）：美团自研的大规模异步 RL 训练框架。
三个并行阶段： 1. Generation Phase：异步生成 rollout 2. Experience-Maker Phase：经验数据准备 3. Model Training Phase：模型训练
性能：相比同步方法，训练速度提升 >3倍（数万张加速器规模）。
RL 算法
训练目标：扩展 GRPO（Group Relative Policy Optimization），适应异步训练。
高效训练策略： - 有放回在线过滤（With-replacement Online Filtering）：过滤低质量样本 - 陈旧度控制（Staleness Control）：管理异步训练中的策略陈旧度 - 不完全信号掩码（Incomplete-Signal Masking）：处理未完成轨迹的奖励信号
奖励系统
- 不可验证任务：基于 LLM 评判的奖励
- 可验证任务：规则化奖励（数学、代码等）
领域并行训练（Domain-Parallel Training）
核心创新：解耦不同领域的优化。
- 领域 RL：在 STEM、代码、Agentic 等领域分别进行 RL，得到多个领域专家模型
- 模型融合：将多个领域专家融合为单一模型
- 通用 RL：融合后进一步做通用 RL，提升鲁棒性、安全性和人类对齐
优势：避免多任务 RL 中的任务间干扰，实现接近 Pareto 最优的融合模型。
三、评测表现
在复杂推理任务上达到开源模型 SOTA。
关键指标： - AIME-25：平均 token 消耗降低 64.5%（从 19,653 降至 6,965），同时不降低准确率 - 数学推理、代码生成、Agentic 工具使用等 benchmark 全面领先开源模型
效率优势：领域并行训练 + DORA 异步框架，大幅提升训练效率。
四、开源信息
- HuggingFace：https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking
- GitHub：https://github.com/meituan-longcat/LongCat-Flash-Thinking
五、相关页面
- longcat-flash — LongCat-Flash：基础模型
- longcat-flash-thinking-2601 — LongCat-Flash-Thinking-2601：升级版推理模型
- longcat-flash-omni — LongCat-Flash-Omni：全模态版本
- chain-of-thought — Chain-of-Thought：推理技术基础概念