概念导读
预训练 LLM 时，是否应该考虑下游 RAG 使用场景？传统预训练将 memorization 和 retrieval 视为独立问题。
- 核心问题
- 方法
- 意义
- Related
RAG-Considerate Pretraining
核心问题
预训练 LLM 时，是否应该考虑下游 RAG 使用场景？传统预训练将 memorization 和 retrieval 视为独立问题。
方法
提出 RAG-aware 的预训练 scaling laws： - 在预训练阶段引入 retrieval 信号的考虑 - 探索 memorization vs retrieval 的最优平衡 - 发现：考虑 RAG 的预训练可以用更少参数达到相同效果
意义
挑战了"先预训练再配 RAG"的传统范式，提出预训练和检索应联合优化的思路。