OptimSyn：基于影响力引导的评分标准优化合成数据生成

一句话定位

提出一种基于目标模型梯度影响力估计的强化学习框架，自动优化合成数据生成中的评分标准（rubrics），提升合成数据对下游任务训练的有效性。

小学生也能听懂

这篇论文发明了一种聪明的方法，像给AI老师配了个“智能评分助手”，它能自动调整出题标准，让AI生成的练习题更管用，帮助其他AI学得更好，尤其在医学和文科这类难找好题目的领域效果特别棒。

为什么值得记录

解决了知识密集型领域（如医学、人文社科）高质量监督微调（SFT）数据稀缺的问题
突破了传统人工设计评分标准的局限，实现跨领域、跨模型的通用合成数据生成
首次将优化器感知的影响力估计用于指导合成数据生成，提供更可靠的训练效用信号
在多个基准测试中显著优于现有开源SFT数据集，且在不同目标模型和生成器上表现稳健

核心方法

采用Adam兼容的影响力估计器（Inf_Adam），基于梯度内积衡量每个合成样本对目标模型验证损失的影响
构建强化学习闭环：以rubric生成器为策略模型，以影响力得分为奖励信号，使用GRPO算法进行优化
奖励函数结合轻量级有效性检查（格式、安全性等）与影响力得分，避免无效样本干扰
通过组归一化优势函数和KL散度约束稳定训练过程，提升策略更新的鲁棒性
在种子文档基础上，由rubric生成器生成任务相关的评分标准，再由教师模型合成QA对
使用10%初始合成数据对目标模型进行预热，获取参考梯度用于影响力计算

关键结果

在人文社科和医学两个领域，OptimSyn在Qwen3-8B-Base上平均准确率分别提升+27.2%（HLE）和+11.0%（MMLU-pro）
在12个基准测试中，OptimSyn有9个指标超过Qwen3-8B-Instruct，6个超过所有基线SFT数据集
影响力得分与下游准确率呈强正相关（R²=0.54–0.57），验证其作为数据质量代理的有效性
方法在Qwen3-4B/8B/14B和Llama3-8B上均有效，且对Qwen3-235B、GPT-4.1、Gemini-2.5-Pro三种生成器鲁棒
仅需约2万样本即可达到最优性能，训练效率高于其他合成数据集

局限与风险

影响力估计依赖目标模型的梯度信息，需额外计算开销，可能限制其在资源受限场景的应用
验证集构建需谨慎避免数据泄露，小规模验证集虽有效但存在性能波动风险
当前框架假设教师模型固定，未探索联合优化生成器与rubric生成器的可能性
影响力估计基于一阶近似，在极端非线性优化动态下可能存在偏差

适合沉淀的概念

influence-function, synthetic-data-generation, reinforcement-learning-for-data-synthesis, rubric-optimization, gradient-based-reward, adam-compatible-influence, training-utility-estimation, model-aware-data-selection

阅读注意

重点关注影响力估计如何从经典理论适配到现代LLM优化器（如Adam）
注意验证集构造原则：必须与训练数据无重叠且分布一致，用于梯度计算但不参与SFT
分析图1中嵌入空间与梯度空间的分布差异，理解为何语义相近不代表训练效用高
比较不同反馈机制（QuRating、FineWeb-Edu、PRRC）与影响力信号的优劣，见附录E.2
观察图6中rubric文本的t-SNE可视化，理解RL如何提升评分标准的多样性与结构性

质量说明

采用来源：raw，raw/papers/2026/04/2604.00536.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的实验设置、消融分析、实现细节和附录材料，包括代码链接、数据构造流程、提示模板和案例分析，信息充分可复现。