---
title: ""
title_zh: "基于自由能原理的实时视觉导航感知自适应方法"
arxiv_id: "2403.01977"
paper_type: "method"
source_kind: "raw"
raw_path: "raw/papers/2024/03/2403.01977.md"
generated: "2026-05-11"
model: "LongCat-Flash-Chat"
quality: "ok"
---

# 基于自由能原理的实时视觉导航感知自适应方法

## 一句话定位

提出 FEP-Nav 框架，通过最小化变分自由能（VFE）实现视觉导航中的实时感知自适应，结合 Top-down Decoder 与 Adaptive Normalisation 提升机器人对视觉干扰的鲁棒性。

## 小学生也能听懂

这篇论文教机器人像“脑补”一样看清被干扰的画面：它用一个“想象重建器”把模糊或变色的图像还原成干净的，再用“动态调节器”让机器人快速适应新环境，不用重新学习，就能在各种干扰下稳稳导航，又快又准。

## 为什么值得记录

- 首次将自由能原理（FEP）以轻量级、实时方式应用于机器人视觉导航任务
- 在模拟和真实环境中均显著优于现有测试时自适应方法（如 DUA、TENT、SHOT-IM）
- 无需梯度更新或成对训练数据，仅使用干净图像训练即可应对未知视觉干扰
- 理论证明其架构通过预测误差与贝叶斯惊奇最小化实现 VFE 优化

## 核心方法

- 构建双机制架构：Top-down Decoder（TD）用于重建无干扰输入；Adaptive Normalisation（AN）动态调整特征分布
- 离线训练 TD：冻结视觉编码器（VE），用 MSE 损失从 112k 张干净图像中学习重建能力
- 在线推理阶段：冻结 TD，允许 VE 中的 BatchNorm 层通过移动平均更新均值与方差（ρ 可调）
- 使用重建图像作为代理输入送入策略网络，替代原始受污染观测
- 将 GroupNorm 替换为 BatchNorm 并微调预训练导航模型（DD-PPO）以适应自适应机制
- 提出两种变体：FEP-Nav Running（ρ < 1）和 FEP-Nav Instance（ρ = 1，仅用当前帧统计）

## 关键结果

- 在 Habitat 模拟环境中，FEP-Nav Instance 在 8 种视觉干扰下平均成功率（SR）达 92%，路径加权成功率（SPL）达 80%，优于所有基线
- 在 Color Jitter 和 Light Out 干扰下，FEP-Nav Instance 比次优方法 DUA 分别提升 12% 和 22% 的 SR
- 在真实无人机实验中，面对相机污损、光照干扰等 4 种现实干扰，FEP-Nav 平均 SR 达 72%，显著高于 DUA 的 54%
- 相比图像修复模型 MPRNet，FEP-Nav 在 Rain 和 Speckle Noise 上表现更优，因其不依赖特定噪声先验
- 单次推理耗时仅 0.045 秒，显存占用约 150MB，可在 Jetson AGX Orin 上实时运行

## 局限与风险

- 依赖预训练的高质量导航策略，未解决端到端联合训练问题
- Adaptive Normalisation 仅在 BatchNorm 层应用，未探索其他归一化方式（如 LayerNorm）的效果
- 真实世界测试场景有限（仅单一房间与障碍物避让任务），泛化能力需进一步验证
- 未考虑多模态传感器融合情况下的扩展性

## 适合沉淀的概念

`free-energy-principle`, `variational-free-energy`, `test-time-adaptation`, `perceptual-adaptation`, `top-down-decoder`, `adaptive-normalisation`, `visual-navigation`, `batch-normalisation-update`

## 阅读注意

- 关注 III-D 节中关于 VFE 分解为预测误差与贝叶斯惊奇的数学推导
- 注意图 2 中离线训练与在线推理的数据流差异
- 表 I 和表 II 对比了多种方法在不同干扰下的 SR/SPL，是核心结果
- IV-E 节分析了 TENT/SHOT-IM 表现差的原因：导航图像的时间相关性导致熵最小化失效
- 消融实验（表 IV）表明所有 Block 的 BatchNorm 均需更新才能达到最优性能

## 质量说明

- 采用来源：`raw`，`raw/papers/2024/03/2403.01977.md`
- 生成模型：`LongCat-Flash-Chat`
- 源材料判断：论文材料完整，包含方法细节、实验设置、定量结果与理论分析，数据充分支持结论。