---
title: ""
title_zh: "内在检索：注意力模型的固有检索能力"
arxiv_id: "2605.05806"
paper_type: "method"
source_kind: "raw"
raw_path: "raw/papers/2026/05/2605.05806.md"
generated: "2026-05-12"
model: "LongCat-Flash-Chat"
quality: "ok"
---

# 内在检索：注意力模型的固有检索能力

## 一句话定位

提出 INTRA 框架，利用预训练编码器-解码器模型自身的注意力机制实现内在检索，无需外部检索器即可在问答任务中联合完成证据选择与答案生成。

## 小学生也能听懂

这篇论文说，大语言模型其实自己就能‘找资料’和‘回答问题’，不需要额外加一个检索系统。它通过让模型的注意力机制直接对编码后的文本块打分，选出最相关的信息来生成答案，效果比传统检索增强生成更好，尤其在需要多步推理的问题上。

## 为什么值得记录

- 揭示了注意力机制本身具备检索能力，挑战了 RAG 必须分离检索与生成的传统设计
- INTRA 在多个多跳问答基准上超越强工程化检索流水线，证明统一表示空间的有效性
- 通过重用预编码的上下文表示，显著降低推理时的计算开销，提升效率
- 仅需微调少量参数（约16万检索 token 和272个聚合权重），即可激活模型的内在检索能力

## 核心方法

- 基于预训练的 T5Gemma2 编码器-解码器架构，冻结主干网络
- 引入 R 个可学习的检索 token 拼接至输入，驱动解码器生成用于检索的查询状态
- 使用 MaxSim 分数（类似 ColBERT 的晚期交互）将各层解码器查询与编码块进行匹配，加权聚合得到块级检索得分
- 采用 Reverse-QWK 技术，将键的层特定变换移至查询侧，使所有层共享同一归一化编码表示，避免重复计算
- 初始候选集 S₀ 通过输入与块的 MaxSim 相似度选取，但最终检索集 S_INTRA 在全库范围内重排，可包含 S₀ 外的新证据
- 训练目标为软交叉熵损失，鼓励检索分数在 oracle 证据块上分配高概率质量
- 推理时分两阶段：先用检索输入过一遍解码器获取查询状态并打分，再用 top-k 选中的编码块作为上下文生成答案

## 关键结果

- 在 HotPotQA、2WikiMultihopQA 和 MuSiQue 多跳 QA 基准上，INTRA 的完全证据召回率（recall@k）全面领先所有基线方法
- 端到端问答性能（EM/F1）在三个多跳数据集上达到最佳，平均 EM 为 40.2，F1 为 48.6，优于 BGE、Qwen-Embedding 等大规模检索模型
- 与更强生成器（如 Qwen3.5-27B）搭配时，使用相同 T5Gemma2 解码器进行检索和生成仍能实现最高的‘差距闭合率’（59.4%），说明检索-生成对齐的重要性
- 相比标准 RAG，INTRA 避免了每次查询时对检索文本的重新编码，在静态知识库场景下可大幅节省预填充计算成本

## 局限与风险

- 当前实验基于中等规模模型（T5Gemma2-4B），在更大模型上的扩展性有待验证
- 依赖预编码整个语料库，存储开销随语料增长线性增加（10亿 token 约需 2.5TB 存储）
- 检索性能在单跳任务（如 NQ）上提升有限，说明其优势主要体现在复杂推理场景
- 未探索与近似最近邻搜索（ANN）的深度融合，实际部署时检索效率仍有优化空间

## 适合沉淀的概念

`intrinsic-retrieval`, `attention-based-retrieval`, `encoder-decoder-rag`, `reverse-qwk`, `maxsim-scoring`, `late-interaction`, `retrieval-tokens`, `shared-representation-space`

## 阅读注意

- 重点关注 Section 2.2 中如何将解码器注意力查询转化为块级检索分数，这是 INTRA 的核心创新
- 注意 Reverse-QWK 技术（Section 3.1）解决了跨层共享编码表示的关键实现问题
- Table 2 的‘差距闭合率’指标揭示了检索与生成模型对齐的重要性，值得深入理解
- 实验设置中使用的 100M token 共享候选池和 759K 文本块是复现的关键细节
- Appendix 中的消融实验（如 Lp=7 的池化长度选择）对工程实现有指导意义

## 质量说明

- 采用来源：`raw`，`raw/papers/2026/05/2605.05806.md`
- 生成模型：`LongCat-Flash-Chat`
- 源材料判断：论文提供了完整的方法描述、实验设置和结果分析，包含关键公式、架构图和定量比较，数据充分且逻辑清晰，具备可复现性。