2411.18966

SuperGaussians：基于空间变化颜色的高斯溅射增强方法

一句话定位

提出 SuperGaussians 方法，通过为单个高斯基元引入空间变化的颜色和不透明度函数，提升高斯溅射对复杂纹理和几何的表达能力，在多个数据集上实现更优的新视角合成效果。

小学生也能听懂

就像给每个小气球涂上会变色的颜料，SuperGaussians 让一个高斯形状在不同位置显示不同颜色，而不是整颗都一样。这样就能用更少的气球画出更细腻的画面，比如画出带花纹的杯子或树叶的脉络。

为什么值得记录

• 解决了传统高斯溅射中每个基元仅支持单一颜色/不透明度导致的表达力不足问题
• 显著提升新视角合成质量，在 Synthetic Blender、DTU 等数据集上超越 2DGS 和 3DGS
• 在限定高斯数量时表现更优，证明其表示更紧凑高效
• 为高斯基元引入可学习的空间变化函数，拓展了显式辐射场建模的设计空间

核心方法

• 基于 2DGS 框架，将高斯基元从固定颜色/不透明度扩展为空间变化函数 c(p,d) 和 α(p)
• 提出三种空间变化函数实现方式：双线性插值（分四象限）、可移动核（movable kernels）、微型 MLP
• 双线性插值将每个高斯面片划分为四个区域，每区分配可学习颜色与不透明度，通过 sigmoid 坐标归一化避免梯度消失
• 可移动核使用四个可学习位置的高斯核加权求和生成颜色/不透明度，核中心可通过梯度更新移动
• 微型 MLP 接受交点坐标 (u,v) 输出对应颜色与不透明度，采用三层全连接网络
• 所有方法均修改 CUDA 渲染内核并实现反向传播，保持与 2DGS 相同的训练策略（30K 迭代等）

关键结果

• 在 Synthetic Blender 数据集上，Ours-MK 达到 34.10 PSNR，优于 2DGS 的 32.87
• 在 Mip-NeRF360 上，Ours-MK 达到 27.31 PSNR，优于 2DGS 的 26.86 和 3DGS 的 27.21
• 在 Tanks&Temples 上，Ours-MK 达到 23.72 PSNR，优于 2DGS 的 23.19
• 在 DTU 数据集上，Ours-MK 达到 37.76 PSNR，显著优于 2DGS 的 34.43
• 即使 2DGS 使用两倍高斯数量（参数多 1.43 倍），Ours-MK 仍保持优势
• 在 50K/100K 高斯限制下，Ours-MK 在几何重建（Chamfer Distance）和图像质量（PSNR）上均优于 2DGS

局限与风险

• 训练时间增加：Ours-MK 训练耗时 1083 秒，高于 2DGS 的 635 秒；渲染帧率降至 133 FPS（2DGS 为 210）
• 可移动核有极小概率移出高斯范围（<0.5%），此时退化为普通 2DGS
• 双线性插值存在梯度消失问题，影响优化稳定性
• 微型 MLP 参数过多，收敛不稳定，整体表现不如可移动核

适合沉淀的概念

gaussian-splatting, novel-view-synthesis, spatially-varying-functions, movable-kernels, 2dgs, 3dgs, neural-radiance-fields, explicit-scene-representation

阅读注意

• 重点对比三种空间变化函数的设计差异与性能表现，尤其是可移动核为何最优
• 注意消融实验：正常一致性损失对结果影响小，说明改进主要来自表达能力提升而非几何优化
• 关注参数效率：Ours-MK 仅用 205K 高斯即超越使用 384K–446K 高斯的 2DGS 变体
• 查看附录图 9，理解不同函数在单高斯拟合突变颜色时的行为差异
• 注意 DTU 结果是在训练集上评估（无测试集），但趋势仍具参考价值

质量说明

• 采用来源：raw，raw/papers/2024/11/2411.18966.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的实验设置、多数据集定量结果、消融分析和可视化对比，代码已开源，材料充分可信。