TRAAC：通过自适应注意力压缩缓解欠思考/过思考

一句话定位

小学生也能听懂

这篇论文发明了一个叫TRAAC的“聪明小助手”，它能像人一样判断题目难不难：简单题就少想几步省时间，难题就多想想保证正确，让AI既聪明又高效。

为什么值得记录

现有思维模型在推理长度调控上存在欠适应问题：简单任务过思考浪费 token，困难任务欠思考导致错误
TRAAC 首次将任务难度估计与注意力机制结合，实现细粒度、自适应的推理压缩
在多个数学与非数学基准上同时提升准确率（平均 +8.4%）并显著降低推理长度（相对 -36.8%）
展示了从数学训练数据到通用推理任务的强泛化能力

核心方法

基于 GRPO 框架进行在线强化学习训练，采样多轮推理轨迹
引入注意力压缩模块：利用模型自身对 token 的注意力权重评估每个推理步骤的重要性
根据 rollout 正确率估计任务难度（易/中/难），动态调整压缩率：易任务高压缩，难任务低压缩
设计三要素奖励函数：正确性奖励（+4）、格式奖励（0~1）、长度奖励（0~2），其中长度奖励采用滑动窗口统计与 sigmoid 平滑机制
在压缩轨迹上重新生成答案，并联合原始与压缩轨迹计算优势函数
使用辅助提示语引导模型聚焦关键推理步骤

关键结果

Qwen3-4B 上平均绝对准确率提升 8.4%，推理长度相对减少 36.8%（vs 基础模型）
相比最佳 RL 基线 AdaptThink，准确率提升 7.9%，长度减少 29.4%
在 OptimalThinkingBench 上 F1 分数提升 7.36（Qwen3-4B）和 12.55（Deepseek-Qwen-7B）
在 OverthinkingBench 上 AUC_OAA 提升 5%（Qwen3-4B），表明有效抑制过思考
在 UnderthinkingBench 上最高提升 6.8%，显示对困难任务的适应能力
OOD 任务上平均准确率提升 3%，长度减少 40%（Qwen3-4B）

局限与风险

依赖模型自身注意力机制，若注意力分布不准确可能影响压缩效果
难度估计基于 rollout 正确率，在小样本或高方差场景下可能不稳定
未在更大规模模型（如 >70B）上验证有效性
压缩过程增加训练复杂度，需额外前向传播计算注意力

适合沉淀的概念

adaptive-reasoning, attention-based-compression, test-time-compute-allocation, under-over-thinking, grpo-training, difficulty-calibration, reasoning-efficiency, optimal-thinking-benchmark

阅读注意

重点关注注意力压缩模块如何分割推理步骤（使用特殊控制 token 如 'Wait', 'Let me think again'）
注意长度奖励的设计细节：使用滑动窗口维护不同难度下的长度分布，避免训练震荡
分析部分图 3 展示了压缩率随任务难度变化的趋势，是验证自适应性的关键证据
附录 A.3.3 提供了基于熵的均匀性评分算法，用于防止在注意力分布平坦时过度压缩
对比实验显示仅加压缩模块而不做难度校准会损害性能，说明二者缺一不可

质量说明

采用来源：raw，raw/papers/2025/10/2510.01581.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供了完整的实验设置、消融研究、超参数细节和代码链接，结果可复现性强，分析充分。