总览 / 概念 / Pseudo-Unification: 熵探测揭示多模态模型信息分歧
↗ 源 Markdown
概念
multimodal entropy unification information-theory renyi-entropy rkhs
创建2026-04-15
更新2026-04-16
阅读量级3 分钟
来源2604.10949
概念导读

表面上"统一"的多模态模型（UMMs），在信息论视角下存在 双重分歧 (dual divergence)：

  1. 核心发现
  2. 方法：基于 RKHS 的熵探测框架
  3. 核心工具
  4. 两级探测
  5. 十个 UMM 的探测结果
  6. 发现 1: 编码阶段的模态不对称
  7. 发现 2: 生成阶段的模式分裂
  8. 发现 3: 真正的统一需要什么？

Pseudo-Unification: 表面统一的多模态模型真相

核心发现

表面上"统一"的多模态模型（UMMs），在信息论视角下存在 双重分歧 (dual divergence)： 1. Modality-Asymmetric Encoding: 视觉和语言在编码阶段走不同的熵轨迹 2. Pattern-Split Response: 文本生成追求高熵创造力，图像生成追求低熵保真度

作者将此现象称为 Pseudo-Unification（伪统一）——参数共享 ≠ 信息流统一。

团队：MMLab@HKUST（2026-04-13）。

方法：基于 RKHS 的熵探测框架

传统信息论分析需要显式概率密度，但 Transformer 不提供这个。作者用 matrix-based Rényi entropy 绕过：

核心工具

  1. Matrix-based Rényi Entropy: 在 Reproducing Kernel Hilbert Space (RKHS) 中直接从 embedding 矩阵计算熵
  2. 非参数、核方法
  3. 可直接比较不同模态的 embedding 结构

  4. 高熵 = 各向同性、信息丰富；低熵 = 高度压缩、结构化

  5. Conditional Entropy Proxy: 衡量 response 相对于 prompt 引入的额外结构复杂度

  6. H(Z_response | Z_prompt) 低 → fidelity-driven（保真，复制/确定性生成）
  7. H(Z_response | Z_prompt) 高 → creativity-driven（创造，多样性生成）

两级探测

  • Prompt-level: 输入编码阶段，视觉 vs 语言 token 的熵轨迹差异
  • Layer-wise: 逐层追踪信息压缩模式，揭示架构先验的影响

十个 UMM 的探测结果

发现 1: 编码阶段的模态不对称

模式 描述 代表模型
视觉早压缩 大模型对视觉 token 早期就大幅压缩 Janus-Pro-7B, EMU3-Chat
语言持续保持 语言 token 保持高熵到更深层 同上
对称压缩 视觉和语言压缩模式相似 较小模型

原因: 架构先验（model size + prompt length）主导编码模式，而非 prompt 内容或任务复杂度。 大模型因为 capacity 充裕，倾向于对视觉输入"过早定性"。

发现 2: 生成阶段的模式分裂

模态 熵模式 行为特征
文本生成 高条件熵 创造性、多样性、推理链
图像生成 低条件熵 保真性、确定性、复制参考

这意味着模型在生成文本时"自由发挥"，生成图像时"严格还原"——两个模态走的是完全不同的生成范式。

发现 3: 真正的统一需要什么？

只有 Harmon 模型（通过 contextual prediction 统一编码和生成）实现了跨模态的一致信息流。 其他所有模型（包括 Janus-Pro, EMU3, Show-o 等）都存在不同程度的伪统一。

关键: 真正的统一不在于参数共享或任务性能，而在于 信息流的一致性。

对 Qwen3-Omni "无退化" 声明的影响

Qwen3-Omni 在 Table 16 报告了加音频数据后文本/视觉性能不降反升。Pseudo-Unification 的发现提出了尖锐问题：

  1. 性能不降 ≠ 真正统一: 信息流可能仍然分裂，只是各自都没退化
  2. "无退化" 测的是任务指标，不是信息一致性: 熵探测可能揭示隐藏的模态冲突
  3. 需要验证的假设: Qwen3-Omni 的 Thinker-Talker 解耦是否也引入了 pattern-split？

这值得用本文的熵探测框架在 Qwen3-Omni 上做一次分析。

方法论贡献

  • 首个 model-internal probing of unification（不是外部 benchmark 评测）
  • Rényi entropy + conditional entropy proxy 是通用的多模态分析工具
  • 可用于未来任何 UMM 的统一性诊断

更广泛的启示

  • Scaling 不是解决统一的答案: 大模型反而更容易出现 modality-asymmetric encoding
  • 训练目标需要重新设计: 只有共享编码和生成逻辑的框架（如 contextual prediction）才能实现真统一
  • 评测需要信息论维度: 传统 benchmark 只看任务性能，看不到信息流分裂