异构任务下的自演进 LLM 记忆提取

一句话定位

提出 CluE，一种基于聚类的自演进记忆提取框架，解决现有方法在异构任务分布下泛化能力差的问题，在 BEHEMOTH 基准上实现 +9.04% 相对增益。

小学生也能听懂

这篇论文像给AI大脑装了个“聪明笔记本”，能根据不同任务自动分类整理记忆，避免记混或忘重点，在18种任务测试中比旧方法平均多记住9%的内容，尤其擅长记住个性习惯、解题步骤和工具用法。

为什么值得记录

首次形式化并系统评估 LLM 在异构任务（个性化、问题求解、代理任务）下的记忆提取问题
揭示静态提示和现有自演进框架在异构场景下的局限性：无法兼顾多任务性能，易过拟合或稀释反馈信号
提出 CluE 方法，通过聚类分析实现稳定学习，在跨任务泛化和分布外测试中均表现最优
构建 BEHEMOTH 基准，整合 18 个数据集，提供统一的记忆提取评估协议，支持未来研究

核心方法

定义单步记忆提取任务：从源对话中提取记忆字符串，并通过下游生成模型回答目标查询的效用评估提取质量
构建 BEHEMOTH 基准：重利用 18 个现有数据集（5 个个性化、7 个问题求解、6 个代理任务），使用 Qwen3-32B 生成源对话，形成 (对话, 查询, 奖励函数) 三元组
提出 CluE 框架：包含四个核心步骤——(1) 总结器生成提取场景摘要；(2) 聚类管理器按提取场景聚类；(3) 聚类分析器独立分析每类成功/失败模式；(4) 跨聚类提案器合成通用原则与类别特定指南
采用效用驱动评估指标：Macro Accuracy 和 Relative Gain，避免 LLM 评判器的偏差
在训练中保留每类一个数据集作为分布外测试集（LongMemEval, GPQA-Diamond, ToolBench），其余采样构建训练集

关键结果

静态提示评估：无单一提示在所有类别中占优；Mem0 在个性化任务表现好但在其他任务下降；ReasoningBank 反之；Survey 和 OpenMemory 提供平衡但中等改进
自演进框架对比：CluE 在整体相对增益上达 +9.04%，且在个性化 (+12.34%)、问题求解 (+8.39%)、代理任务 (+7.22%) 上均一致提升；GEPA、ACE、MemEvolve 均存在某类性能下降
分布外泛化：CluE 在 LongMemEval 上达 63.07，优于 MemEvolve 的 56.82；GEPA 和 ACE 在部分分布外数据集上性能低于 Simple 基线
强种子演化：从 Survey 提示出发，CluE 仍实现 +6.54% 相对增益，而 GEPA 无改进，ACE 和 MemEvolve 出现负增益
持续记忆提取：在 Game of 24 和 AlfWorld 上，CluE 的单步优势延续到持续设置，且 Simple 提示在持续场景下可能低于无记忆基线

局限与风险

BEHEMOTH 虽涵盖 18 个数据集，但现实部署任务多样性更高，需构建更复杂基准
聚焦记忆提取阶段，未解决完整记忆生命周期（存储、检索、管理）的泛化问题
CluE 依赖聚类质量，若场景摘要不准确可能影响后续分析与提案
实验基于 Qwen3-32B 和 Gemini-3-Flash，其他模型上的表现需进一步验证

适合沉淀的概念

heterogeneous-memory-extraction, self-evolving-prompt, cluster-based-evolution, memory-taxonomy, utility-driven-evaluation, BEHEMOTH-benchmark, single-step-extraction, cross-cluster-synthesis

阅读注意

关注 CluE 如何处理异构反馈信号：通过聚类隔离不同场景，避免直接平均导致信息稀释
注意评估指标设计：Relative Gain 使用几何平均，防止个别高比值主导整体评估
查看附录 C.2 中的各模块提示设计，理解如何实现聚类分析与跨集群合成
对比图 4 中不同框架演化出的提示结构，理解 CluE 为何能生成更结构化、可泛化的记忆分类体系
思考 BEHEMOTH 的构建方法是否适用于其他需要跨任务泛化的场景

质量说明

采用来源：raw，raw/papers/2026/04/2604.11610.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的方法描述、实验设置、结果分析和消融研究，包含关键提示模板和演化结果示例，信息充分支持结论。