实体导读

Qwen3.5 是阿里巴巴通义千问团队发布的下一代基础模型系列。首个开源权重模型为 Qwen3.5-397B-A17B。

1. 概述
2. 架构创新
3. 推理优化支持
4. MTP (Multi-Token Prediction)
5. EAGLE (Speculative Decoding)
6. 性能表现
7. 相关模型
8. 相关技术

Qwen3.5

概述

Qwen3.5 是阿里巴巴通义千问团队发布的下一代基础模型系列。首个开源权重模型为 Qwen3.5-397B-A17B。

架构创新

• Hybrid Linear Attention: 融合了 Gated Delta Networks (线性注意力) 和标准 Transformer Attention。
• MoE (Mixture of Experts): 采用稀疏混合专家架构，提升计算效率。
• 原生多模态: 支持原生视觉语言理解。

推理优化支持

MTP (Multi-Token Prediction)

• 支持状态: 原生内置。Qwen3.5 在预训练时引入了 MTP Heads。
• 当前限制: 由于 Hybrid Linear Attention 的 conv_states 和 recurrent_states 是全局累积的，没有 sequence_length 维度，无法像传统 KV Cache 那样按 token 切片回滚。
• 框架支持:
  • vLLM: 目前仅支持 MTP-1 (num_speculative_tokens=1)。提升约 15-20% 吞吐。
  • SGLang: 正在适配中。

EAGLE (Speculative Decoding)

• 支持状态: 目前不支持。
• 原因: Eagle 依赖 Draft Model 生成草稿后，Target Model 进行验证和状态回滚。Qwen3.5 的 Linear Attention 状态目前无法支持这种选择性回滚操作。
• 社区进展: SpecForge (sgl-project/SpecForge) 正在开发 Qwen3.5 的 EAGLE3/DFlash 训练适配，但尚未发布可用模型。

性能表现

• vLLM + MTP-1: 吞吐量提升约 15-20%。
• SGLang + Eagle3 (Qwen3-Coder): 在 DGX Spark 上可达 ~60 tok/s (+38%)。

相关模型

• qwen3: 上一代模型，支持 Eagle3。
• qwen3-coder: 代码专用模型，已有 Eagle3 Speculator 可用。

相关技术

• mtp
• eagle-speculative-decoding
• hybrid-linear-attention