概念导读
现有 synthetic data 重写只操作单文档，无法建立跨文档关联。
- 核心问题
- 方法
- 规模
- 结果
- Related
WRAP++: 跨文档发现增强预训练
核心问题
现有 synthetic data 重写只操作单文档，无法建立跨文档关联。
方法
从 Web 超链接发现跨文档关系，合成联合 QA： - Dual-links: 双向链接的文档对 - Co-mentions: 共同提及的实体对 - 组合爆炸 → 数据规模远超单文档重写
规模
Wikipedia ~8.4B tokens → 80B tokens 跨文档 QA 数据
结果
在 Qwen2.5-7B 上验证，知识密集任务显著提升。