概念导读

部署后的 LLM 参数静态不变，无法高效注入新知识。现有方案（RAG、model editing、长上下文）各有局限：

1. 核心问题
2. 方法
3. 模型结构 $\mathcal{M}_{\theta,\phi}$
4. 自更新过程
5. 生成过程
6. 训练策略
7. 结果
8. 意义

MemoryLLM: 潜在空间自更新记忆池

核心问题

部署后的 LLM 参数静态不变，无法高效注入新知识。现有方案（RAG、model editing、长上下文）各有局限： RAG 存在冗余和存储膨胀，model editing 仅限单句级事实，长上下文方法受限于有限窗口。

MemoryLLM 在 transformer 潜在空间内嵌入固定大小记忆池，使模型能自更新地吸收新知识。

方法

模型结构 $\mathcal{M}_{\theta,\phi}$

• $\phi$: 静态 transformer 参数（基于 Llama2-7B）
• $\theta$: 动态记忆池，1B 参数，分布在每层 transformer 中
• 每层记忆池 $\theta_l \in \mathbb{R}^{N \times d}$，$N$ 个 memory token

自更新过程

注入新知识 $x$ 时：

1. 取 $\theta_l$ 末尾 $K$ 个 memory token 与新文本隐状态拼接
2. 通过 transformer 层 $\phi_l$ 处理，输出新 $K$ 个 memory token
3. 随机丢弃 $\theta_l$ 中 $K$ 个旧 token，追加新 token

$$\theta' = U(\theta, x)$$

遗忘保证: 旧知识以指数衰减率逐渐被替换，理论可证明。

生成过程

所有 memory token 通过 cross-attention 被当前输入访问： - 注意力矩阵 $n_x \times (n_x + N)$，线性复杂度

训练策略

三阶段课程： 1. 新知识注入: 学习将新信息压缩到记忆池 2. 连续上下文理解: 增强长上下文建模 3. 遗忘缓解: 对抗记忆更新导致的性能退化

结果

• Model Editing: 显著优于 ROME、MEMIT 等基线
• Long Context: 在 16k token 范围内有效保持知识
• 鲁棒性: 近百万次更新后无性能退化
• 局限: 超过 20k token 后知识保持能力急剧下降

意义

• 潜在空间记忆: 首次在 transformer 每层嵌入可更新记忆池，开辟 latent-space memory 方向
• 固定大小设计: 避免外部存储无限膨胀，但容量有限
• 后继工作: 直接催生 m-plus-memoryllm，通过引入长期记忆扩展保持范围至 160k+ token
• 区别于外部记忆: 与 memgpt、mem0 等外部存储方案不同，MemoryLLM 将记忆嵌入模型参数内部

Related

• m-plus-memoryllm — 扩展长期记忆版本
• agent-memory-system — Agent 记忆系统总览
• memgpt — 外部层次化记忆先驱
• mem0 — 外部文本级记忆方案