Persistent Visual Memory：LVLM 深度生成中的持续视觉感知

一句话定位

提出 Persistent Visual Memory (PVM) 模块，通过并行分支结构解决 LVLM 在长文本生成中视觉信号衰减问题，提升复杂推理任务表现。

小学生也能听懂

就像画画时一直看着原图才能画得准，大模型生成文字时也需要不断‘回头看图’。但普通模型看图注意力会随着说话变长而变弱。PVM 给模型加了个专门‘看图’的小助手，让它随时能准确获取图像信息，不影响正常说话逻辑。

为什么值得记录

• 首次系统分析并数学建模了 LVLM 中‘视觉信号稀释’现象，揭示其随生成长度呈 O(1/t) 衰减的规律
• 提出轻量级并行架构 PVM，在不干扰自回归推理流的前提下实现距离无关的视觉检索
• 在 Qwen3-VL 4B 和 8B 模型上分别实现 4.4% 和 4.8% 的平均准确率提升，尤其擅长复杂推理任务
• 通过等参数量对照实验证明性能增益来自主动视觉检索机制而非单纯参数增加

核心方法

• 将 PVM 作为并行分支集成于 Transformer 块的 FFN 旁，形成‘推理路径’与‘视觉路径’双通道结构
• PVM 采用瓶颈适配器设计：先降维至 d'=512 的隐空间，执行跨注意力视觉检索，再升维还原
• 使用门控融合机制（λ 初始为 0）和视觉静音掩码（仅文本 token 激活），确保无缝集成且不破坏预训练能力
• 通过两阶段训练（SFT + GRPO）优化 PVM 参数，主干模型保持冻结以维持语言能力

关键结果

• 在 8 个多模态基准测试中，PVM-8B 平均准确率达 71.5%，较基线提升 4.8%；PVM-4B 提升 4.4%
• ‘盲人画家’压力测试显示，PVM 能有效抵抗长度引起的视觉注意力衰减，维持高保真视觉 grounding
• LogitLens 分析表明 PVM 加速内部预测收敛，而非仅增加模型容量
• 推理开销仅增加 1.18ms/token（TPOT），吞吐量下降 4.6%，具备实用效率

局限与风险

• 当前实验仅基于 Qwen3-VL 系列，虽架构理论上通用，但未在其他 LVLM 上验证
• 理论分析依赖‘局部查询固定’假设，未建模超长上下文下的全局查询漂移动态
• 仅针对静态图像上下文设计，未扩展至视频流等动态输入场景

适合沉淀的概念

visual-signal-dilution, persistent-visual-memory, attention-partition-function, low-attention-equilibrium, gated-cross-attention, visual-silencing-mask, parallel-branch-architecture, multimodal-reasoning

阅读注意

• 重点理解图 2 和图 3 中视觉注意力质量 Ω_V 和文本-视觉比 TVR 的实证衰减曲线
• 注意 PVM 的‘独立注意力归一化’如何从结构上规避主注意力中的分区函数污染
• 附录 G 的等参数量 MLP 对照实验是证明机制有效性的关键证据
• ‘盲人画家’提示模板（附录 J）是验证视觉持续性的创新评估方法

质量说明

• 采用来源：raw，raw/papers/2026/05/2605.00814.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的理论推导、消融实验、计算开销分析和代码实现，数据充分且论证严谨。