2604.11290

多语言合成数据生成中教师语言模型的评估

一句话定位

提出 Polyglot Score (PG-Score) 指标，系统评估10个语言模型在6种语言上的多语言合成数据生成能力，发现模型规模与教师效果无关，数据多样性与流畅性才是关键预测因子。

小学生也能听懂

这篇论文像给不同老师打分，看谁教出的学生最会多国语言。他们发明一个叫PG-Score的分数，发现老师大小不重要，关键是说话要多样、流利，而且学生和老师是“同一家族”时学得更好。

为什么值得记录

• 解决了当前多语言SFT数据生成中教师模型选择随意的问题，提供首个系统性评估框架
• 提出 PG-Score 综合指标，结合内在数据质量与外在学生模型表现，更全面衡量教师有效性
• 发现 Gemma 3 27B 和 Aya Expanse 32B 是跨语言最优教师，挑战‘越大越好’的常见假设
• 揭示提示多样性、响应长度和流畅性等内在指标可解释93.3%的数据质量方差，并能预测学生性能（R²=0.664）
• 提供实用建议：师生模型家族匹配可提升性能20%以上，低资源语言推荐使用 Translate 或 Respond 方法

核心方法

• 构建种子数据集：整合 Aya Collection、WildChat、EuroBlocks-SFT 等公开多语言指令数据集
• 定义三种合成数据生成方法：Generate（基于少样本示例生成新对）、Translate（英译目标语言后生成响应）、Respond（直接响应目标语言提示）
• 设计内在数据质量指标：提示/响应多样性（Llama-Embed-Nemotron-8B 嵌入余弦距离）、响应困惑度（PPL）、多语言奖励模型评分（M-Prometheus 14B）
• 设计外在评估指标：学生模型（OLMo 3 7B）在 Culture（Global-MMLU Lite）、Chat（M-RewardBench）、Math（M-GSM）任务上的性能恢复率（PGR）
• 提出 PG-Score：对内在与外在指标之和进行 z-score 标准化，形成统一评估分数
• 实验规模：10个教师模型 × 6种语言 × 3种生成方法 × 3次重复，共生成超140万条SFT样本，训练240个学生模型

关键结果

• Gemma 3 27B 以平均 PG-Score 0.726 成为最佳教师，Aya Expanse 32B（0.706）次之，Llama 3.1 70B（0.140）表现不佳
• Gemma 3 家族整体优于 Llama 3.1 和 IBM Granite 家族，小模型（如 Gemma 3 4B）也可超越大模型
• 师生模型家族匹配（如 Gemma→Gemma）平均提升 PG-Score 超20.5%，是可靠选择启发式
• 生成方法效果依赖语言资源：德语（高资源）适合 Generate，阿拉伯语/印尼语（低/中资源）适合 Respond 或 Translate
• PCA分析显示前4个主成分解释93.3%内在指标方差，其线性组合可预测学生性能（R²=0.664, RMSE=0.440）
• 在未见语言他加禄语（Tagalog）上验证：按本研建议构建的10K-Polyglot-TL模型在FilBench上优于基线（+1.85~2.28pp）

局限与风险

• 实验基于特定学生模型（OLMo 3 7B为主），虽在多个基座上验证一致性，但结论可能受架构影响
• 内在指标依赖特定嵌入模型（Llama-Embed-Nemotron-8B）和奖励模型（M-Prometheus），存在工具偏差风险
• 未深入探究为何某些模型（如Gemma 3）在多语言生成上更优，仅从数据层面分析
• 他加禄语案例中性能增益较小（0.21pp），表明方法在极低资源场景下提升有限

适合沉淀的概念

polyglot-score, multilingual-synthetic-data-generation, teacher-student-model-alignment, intrinsic-data-quality-metrics, extrinsic-student-performance, model-family-matching, data-generation-methods-generate-translate-respond, principal-component-analysis-pca

阅读注意

• 重点关注 PG-Score 的构建方式（公式3）及其如何平衡内在与外在评估
• 注意表1中不同语言间的巨大差异（如德语高分 vs 阿拉伯语负分），思考语言特性影响
• 图2展示师生家族匹配的显著增益，是实践中的重要参考
• 表3证明模型大小与基准性能无法预测教师效果，颠覆直觉
• 附录I的他加禄语案例是验证方法泛化性的关键，建议细读

质量说明

• 采用来源：raw，raw/papers/2026/04/2604.11290.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，包含详细方法、实验设置、结果表格及附录分析。数据、代码、模型均已开源，复现性强。结论有充分实验支撑，局限部分也坦诚说明。