问答导读
Question: 关于qwen3的技术提到过吗
- 关于 Qwen3 技术：已详细记录 ✅
- 涵盖的核心技术要点：
- 与On-Policy Distillation知识库的关联
- Related
Research - 关于qwen3的技术提到过吗
Question: 关于qwen3的技术提到过吗
关于 Qwen3 技术：已详细记录 ✅
是的，您的个人 Wiki 中明确包含了 Qwen3 的技术文档，来源为：
[src: raw/papers/2505.09388.md] — Qwen3 Technical Report（Qwen Team, arXiv:2505.09388）
涵盖的核心技术要点：
| 模块 | 关键内容 |
|---|---|
| 架构 | 6个Dense模型（0.6B~32B）+ 2个MoE模型（30B-A3B、235B-A22B）；GQA、SwiGLU、RoPE、RMSNorm、QK-Norm；MoE采用细粒度专家分割（128专家/8激活） |
| 预训练 | 36万亿token、119语言；三阶段策略（通用→推理→长上下文）；合成数据（Qwen2.5-Math/Coder/VL） |
| 后训练 | 四阶段：① Long-CoT冷启动 ② 推理RL（GRPO）③ 思维模式融合（Thinking/Non-thinking统一）④ 通用RL |
| 创新特性 | ✅ 思维预算（Thinking Budget）：用户可控制推理token数；✅ 思维/非思维模式切换：单模型内通过/think//no_think标志切换；✅ 强到弱蒸馏（Strong-to-Weak Distillation）：大模型蒸馏提升小模型性能，GPU耗时仅1/10 |
| 评测亮点 | Qwen3-235B-A22B：AIME'24=85.7、CodeForces=2056、BFCL=70.8，全面超越DeepSeek-V3-Base（参数量仅其1/3） |
与On-Policy Distillation知识库的关联
该文档在Wiki Index中被归类为 Sources之一，且文中明确提到：
"For smaller models, we use strong-to-weak distillation, leveraging both off-policy and on-policy knowledge transfer"
这与您的OPD（On-Policy Distillation）主题直接相关 → 可进一步交叉参考 [src: 2604.00626]（OPD综述）和 [src: 2407.15134]（PPD）。
如需深入某个技术细节（如GRPO调参、蒸馏策略、思维预算实现），请指定方向，我可帮您精读原文段落。
Related
- qwen3 — Qwen3 模型系列实体页。
- thinking-budget — Qwen3 的思维预算能力。
- strong-to-weak-distillation — Qwen3 小模型能力迁移机制。