WRAP++：基于网页拓扑关系的跨文档联合问答预训练数据增强

一句话定位

WRAP++ 通过从维基百科超链接中发现双链和共提关系，合成跨文档联合问答数据，显著提升大模型在 SimpleQA 上的知识可恢复性。

小学生也能听懂

这篇论文像用维基百科的“超链接地图”找关系紧密的两页，再用AI编出需要同时看两页才能回答的问题，让大模型学会跨文档找答案，效果比老方法好很多。

为什么值得记录

突破单文档合成范式瓶颈：传统方法受限于单文档内事实提取，无法建模跨文档关联知识。
利用网页拓扑结构实现高质量配对：基于双链（A↔B）和共提（A→E←B 且 A→B）关系发现语义强相关的文档对，避免随机配对导致的虚假关联。
数据规模放大近10倍：在相同8.4B词元的 Wikipedia 语料上，WRAP++ 生成80B词元合成数据，远超单文档方法的5.4–17.4B词元上限。
显著提升知识密集型任务性能：在 OLMo-3-7B 和 32B 模型上，WRAP++ 在 SimpleQA pass@128 上分别比最佳单文档基线高5.4和6.1个百分点。
支持无缝融入中期训练流程：将6B词元 WRAP++ 数据加入 OLMo-3 的100B词元中期训练，SimpleQA 性能提升2.9点，通用能力保持稳定。

核心方法

图抽象建模：将 Wikipedia 文档及其超链接构建为有向图 G=(V,E)，顶点代表文档，边代表引用关系。
拓扑关系发现：识别两类高置信度关系模式——双链（相互引用）和共提（两文档均引用同一中心实体且彼此引用）。
联合问答合成：使用 Qwen3-30B-A3B-Instruct 模型，基于结构化提示对发现的文档对生成 QA，强制满足三项约束：跨文档依赖、显式事实链、全知内化（禁止上下文归因）。
合成质量控制：通过 prompt 工程确保问题必须依赖双文档信息才能回答，答案需展示多跳推理路径，并以绝对事实形式输出。
数据放大机制：利用关系组合爆炸特性，从固定源语料生成远超单文档方法的数据量（82.7B vs ~17.4B 词元）。
训练设置：在 OLMo-3 第1阶段 checkpoint 上继续预训练1个 epoch，评估采用5-shot in-context learning 和 pass@128 指标。

关键结果

在 OLMo-3-7B 上，WRAP++ 达到 49.13% pass@128，显著优于 WRAP (39.55%) 和 Extended WRAP (43.69%)。
在 OLMo-3-32B 上，WRAP++ 达到 53.97% pass@128，同样大幅领先所有单文档基线。
在8B词元匹配预算下，WRAP++ 仍优于 Extended WRAP（+2.48 pp），证明其单位词元质量优势。
训练动态显示 WRAP++ 在80B词元内无饱和迹象，而单文档方法早期即达性能瓶颈。
消融实验证实拓扑发现（vs 随机配对）、联合 QA 格式（vs 文档拼接）和大规模合成模型均对性能至关重要。
三文档共提扩展（加入桥接页 E）反而轻微损害性能，说明双文档输入更聚焦。

局限与风险

依赖高质量超链接结构：当前实现基于 Wikipedia，推广至通用网页需处理噪声链接和稀疏连接问题。
合成模型成本较高：使用30B+参数模型生成数据，虽可通过小模型替代降低成本，但会牺牲部分质量。
评估集中于事实性任务：主要验证在 SimpleQA 等知识密集型 benchmark 上的效果，对推理、代码等任务影响需进一步研究。
未探索更多关系类型：目前仅使用双链和共提两种 motif，未来可引入更复杂的图结构模式。

适合沉淀的概念

cross-document-synthesis, topological-relation-discovery, dual-link-motif, co-mention-motif, joint-qa-synthesis, knowledge-recoverability, synthetic-data-amplification, web-hyperlink-graph

阅读注意

重点关注 §2.2 中双链与共提关系的定义及其语义含义，这是保证合成质量的核心。
注意 §2.3 中三项合成约束（跨文档依赖、显式事实链、全知内化）如何防止模型退化为浅层摘要或上下文依赖。
图2和图3揭示了 WRAP++ 的 scaling 优势：单文档方法存在数据耗尽瓶颈，而 WRAP++ 可持续扩展。
表2的消融实验验证了每个组件的必要性，尤其是随机配对性能下降说明拓扑发现不可替代。
附录H提供了合成数据的详细统计，包括长度分布和关系类型占比，有助于理解数据特性。

质量说明

采用来源：clean，papers/2026/04/2604.06829.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的实验设置、消融分析、数据规模和统计信息，结果可复现性强，方法描述清晰，无明显信息缺失。