AudioKV：面向高效大音频语言模型的 KV 缓存淘汰策略

一句话定位

提出 AudioKV 框架，通过识别音频关键注意力头并进行频谱分数平滑，在 KV 缓存压缩中显著提升音频任务性能。

小学生也能听懂

这篇论文像给大音频模型做“内存减肥”：它发现音频和文字不同，不能直接用文字压缩方法，于是发明AudioKV，先找出哪些“耳朵”（注意力头）最会听声音，再用数学方法把不重要的高频杂音滤掉，只保留关键信息，这样即使只存40%的数据，听写准确率也只掉一点点。

为什么值得记录

大音频语言模型（LALMs）在长语音推理中面临 KV 缓存内存线性增长的关键瓶颈，限制其在设备和流式场景的部署。
现有文本导向的 KV 压缩方法（如 SnapKV、AdaKV）直接应用于音频时性能急剧下降，因其忽略音频信号的连续性和注意力头的模态特异性。
AudioKV 首次系统性地结合头级模态偏置分析与频域信号处理技术，为音频模态定制 KV 缓存管理，在 40% 缓存压缩下仅损失 0.45% 准确率。

核心方法

离线识别音频关键注意力头：利用 WhisperX 获取词级音频对齐，统计各注意力头在 ASR 任务中对齐音频片段的注意力命中比例，计算头重要性得分 S_hit。
头感知 KV 缓存分配：根据 S_hit 分数动态分配缓存预算，优先保留音频关键头的 KV 对，减少非相关头的缓存占用。
频谱分数平滑（SSS）：将每头的 token 重要性分数视为一维信号，应用实数快速傅里叶变换（RFFT）转换到频域。
自适应能量截止滤波：计算频率幅度的累积能量，选择保留 ρ=70% 总能量的最低频带作为截止频率 k*，抑制高频噪声。
残差混合重建：对滤波后的频谱进行逆变换，并通过混合系数 α=0.5 与原分数线性插值，保留局部结构的同时实现全局平滑。

关键结果

在 Qwen3-Omni-30B 上，40% KV 缓存压缩时，AudioKV 仅下降 0.45% 准确率（93.7% → 93.5%），而 SnapKV、AdaKV 等方法出现灾难性退化（准确率降至 0%）。
在 LibriSpeech-long 和 Multilingual LibriSpeech 上，AudioKV 在 40%-80% 压缩范围内均显著优于所有基线，尤其在 ASR 任务上优势明显。
参数敏感性分析显示 SSS 在 α ∈ [0.2, 0.8] 和 k* ∈ [0.2, 0.8] 范围内性能稳定，最优配置达 94.7% 准确率，鲁棒性强。
相同内存预算下，AudioKV 的任务性能远超 SnapKV、AdaKV 等，表明其 KV 条目利用率更高。

局限与风险

SSS 模块引入额外计算开销（FFT/IFFT），尽管单次成本低，但在极长序列上可能影响吞吐量，需权衡效率与收益。
音频关键头的识别依赖外部 ASR 工具（WhisperX）的词级对齐质量，低质量对齐可能影响头重要性评估的准确性。
当前方法假设头的重要性在任务和模型间相对稳定，但在跨领域或未见任务上的泛化能力仍需进一步验证。

适合沉淀的概念

large-audio-language-models, kv-cache-compression, attention-head-specialization, spectral-score-smoothing, audio-aware-inference, fft-based-filtering, modality-bias, cache-eviction-policy

阅读注意

重点关注图 1 和图 2：图 1 可视化展示了音频关键头在模型中的稀疏分布；图 2 对比了 SSS 前后 Top-K 选择的分布，体现其缓解时间偏差的效果。
表 1 是核心结果，注意观察在 0.4 压缩比下，多数基线方法准确率为 0（表示生成崩溃），而 AudioKV 仍能维持较高性能。
附录 A.1 的消融研究显示，单独使用头分配（AudioKV^♡）或结合 SSS（AudioKV^♠）均有提升，证明两个组件的互补性。
方法部分公式 (12)-(20) 详细描述了头分配和 SSS 的数学实现，是理解技术细节的关键。

质量说明

采用来源：clean，papers/2026/04/2604.06694.md
生成模型：LongCat-Flash-Chat
源材料判断：论文材料完整，包含摘要、引言、方法、实验、结论及附录，结构清晰，实验充分，数据详实，足以支撑研究结论。