2403.01977

基于自由能原理的实时视觉导航感知自适应方法

一句话定位

提出 FEP-Nav 框架，通过最小化变分自由能（VFE）实现视觉导航中的实时感知自适应，结合 Top-down Decoder 与 Adaptive Normalisation 提升机器人对视觉干扰的鲁棒性。

小学生也能听懂

这篇论文教机器人像“脑补”一样看清被干扰的画面：它用一个“想象重建器”把模糊或变色的图像还原成干净的，再用“动态调节器”让机器人快速适应新环境，不用重新学习，就能在各种干扰下稳稳导航，又快又准。

为什么值得记录

• 首次将自由能原理（FEP）以轻量级、实时方式应用于机器人视觉导航任务
• 在模拟和真实环境中均显著优于现有测试时自适应方法（如 DUA、TENT、SHOT-IM）
• 无需梯度更新或成对训练数据，仅使用干净图像训练即可应对未知视觉干扰
• 理论证明其架构通过预测误差与贝叶斯惊奇最小化实现 VFE 优化

核心方法

• 构建双机制架构：Top-down Decoder（TD）用于重建无干扰输入；Adaptive Normalisation（AN）动态调整特征分布
• 离线训练 TD：冻结视觉编码器（VE），用 MSE 损失从 112k 张干净图像中学习重建能力
• 在线推理阶段：冻结 TD，允许 VE 中的 BatchNorm 层通过移动平均更新均值与方差（ρ 可调）
• 使用重建图像作为代理输入送入策略网络，替代原始受污染观测
• 将 GroupNorm 替换为 BatchNorm 并微调预训练导航模型（DD-PPO）以适应自适应机制
• 提出两种变体：FEP-Nav Running（ρ < 1）和 FEP-Nav Instance（ρ = 1，仅用当前帧统计）

关键结果

• 在 Habitat 模拟环境中，FEP-Nav Instance 在 8 种视觉干扰下平均成功率（SR）达 92%，路径加权成功率（SPL）达 80%，优于所有基线
• 在 Color Jitter 和 Light Out 干扰下，FEP-Nav Instance 比次优方法 DUA 分别提升 12% 和 22% 的 SR
• 在真实无人机实验中，面对相机污损、光照干扰等 4 种现实干扰，FEP-Nav 平均 SR 达 72%，显著高于 DUA 的 54%
• 相比图像修复模型 MPRNet，FEP-Nav 在 Rain 和 Speckle Noise 上表现更优，因其不依赖特定噪声先验
• 单次推理耗时仅 0.045 秒，显存占用约 150MB，可在 Jetson AGX Orin 上实时运行

局限与风险

• 依赖预训练的高质量导航策略，未解决端到端联合训练问题
• Adaptive Normalisation 仅在 BatchNorm 层应用，未探索其他归一化方式（如 LayerNorm）的效果
• 真实世界测试场景有限（仅单一房间与障碍物避让任务），泛化能力需进一步验证
• 未考虑多模态传感器融合情况下的扩展性

适合沉淀的概念

free-energy-principle, variational-free-energy, test-time-adaptation, perceptual-adaptation, top-down-decoder, adaptive-normalisation, visual-navigation, batch-normalisation-update

阅读注意

• 关注 III-D 节中关于 VFE 分解为预测误差与贝叶斯惊奇的数学推导
• 注意图 2 中离线训练与在线推理的数据流差异
• 表 I 和表 II 对比了多种方法在不同干扰下的 SR/SPL，是核心结果
• IV-E 节分析了 TENT/SHOT-IM 表现差的原因：导航图像的时间相关性导致熵最小化失效
• 消融实验（表 IV）表明所有 Block 的 BatchNorm 均需更新才能达到最优性能

质量说明

• 采用来源：raw，raw/papers/2024/03/2403.01977.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文材料完整，包含方法细节、实验设置、定量结果与理论分析，数据充分支持结论。