3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 的出现标志着神经渲染领域的范式转变。不同于依赖昂贵光线步进 (ray marching) 的隐式体积神经辐射场 (NeRFs)，3DGS 利用显式点云——具体来说是 3D 高斯球——来实现具有照片级逼真度的实时场景渲染。

然而，尽管速度快且视觉保真度高，3DGS 却存在一个“乱屋子”问题。最终渲染的质量严重依赖于高斯点的分布方式。如果初始化 (通常通过运动恢复结构 SfM) 很差，或者优化过程未能将点放置在需要的位置，模型就会出现伪影。你可能会看到“漂浮物” (空间中随机漂浮的团块) 、复杂几何细节模糊或错误的深度估计。

在这篇文章中，我们将深入探讨一篇新论文 “Improving Gaussian Splatting with Localized Points Management” , 该论文针对这一问题提出了外科手术式的解决方案。研究人员不再依赖全局启发式方法来添加或删除点，而是引入了 局部点管理 (LPM)——一种利用立体几何精确找出模型故障点并当场修复的方法。

标准密度控制的问题

为了理解为什么 LPM 是必要的，我们首先需要了解标准 3DGS 如何管理其点。

在原始 3DGS 中，场景始于稀疏点云。训练期间，模型需要决定哪里增加细节 (致密化) 以及哪里移除无用点 (修剪) 。这个过程称为 自适应密度控制 (Adaptive Density Control, ADC) 。

ADC 通常通过查看点的 平均梯度 来工作。如果一个高斯点在多个视图中具有高梯度幅值，意味着模型难以表示该区域。系统随后决定将该大高斯分裂为两个较小的，或克隆它。

为什么 ADC 会失败

虽然 ADC 总体表现良好，但它有明显的盲点:

  1. 平均化掩盖了错误: 因为它对 平均 梯度设置阈值，一个在特定视角下表现糟糕但在其他视角下正常的点可能会被忽略。
  2. 遗漏“病态” (Ill-Conditioned) 点: 有时，优化会产生巨大的、高不透明度的高斯球，挡住其背后的真实几何结构。这些本质上是伪影构成的“墙”。ADC 往往无法识别并移除这些点，导致错误的深度图。
  3. 被动与主动: ADC 多少有些被动；它等待梯度累积。它不会主动寻找与 2D 图像错误相对应的 3D 空间区域。

下图完美诠释了这一失败。在顶行 (标准 3DGS) 中，注意深度图中的红框。模型产生了“病态”高斯球——现实中不存在的致密团块——它们遮挡了卡车的真实几何结构。

Visualization of points behavior. 3DGS produces ill-conditioned Gaussians (red box) that occlude other valid points.

底行显示了新 LPM 方法的结果。深度图很干净，“漂浮物”消失了，卡车的纹理也更清晰。他们是如何做到的？通过停止依赖全局平均值，转而关注 局部渲染错误 。

背景: 3DGS 的数学基础

在剖析 LPM 方法之前，让我们简要回顾一下它所基于的数学基础。一个 3D 场景被表示为 3D 高斯点的集合。每个高斯 \(G(x)\) 由均值位置 \(\mu\) 和协方差矩阵 \(\Sigma\) 定义:

Equation for a 3D Gaussian defined by mean and covariance.

为了渲染图像，这些 3D 高斯被投影到 2D (泼溅) 。特定像素 \(p\) 的颜色是通过使用 \(\alpha\)-混合 (类似于计算机图形学中的标准透明度) 混合重叠的有序高斯来计算的:

Equation for pixel color blending using ordered Gaussians.

这里，\(c_i\) 是颜色，\(\alpha_i\) 是不透明度。优化过程微调这些参数，以最小化渲染图像与真实图像 (ground truth) 之间的差异。 LPM 的目标是比以前更智能地干预这些 \(G_i\) 点的 创建和删除。

核心方法: 局部点管理 (LPM)

研究人员的核心见解很直观: 如果我们在 2D 图像中看到渲染错误，我们应该能够追溯到导致该错误的特定 3D 区域。

标准方法查看 点 上的梯度。LPM 查看 图像 中的错误并将其投影回 3D 空间。这个过程涉及三个主要步骤: 生成误差图、跨视图区域映射 和 点操作 。

让我们通过下图来了解该架构。

Overview of Localized Point Management showing error maps, cross-view matching, and cone intersection.

步骤 1: 生成误差图

过程始于渲染当前视图并将其与真实图像进行比较。这生成了一个 误差图 (图 2a)，精确高亮显示了哪些像素是不正确的。

在标准训练中，此误差仅用于计算损失标量。在 LPM 中，这张图充当“藏宝图”，指示 3D 几何可能存在缺陷的位置。

步骤 2: 跨视图区域映射

知道渲染 \(A\) 中 \((x, y)\) 处的像素是错的，并不能告诉我们错误在 3D 空间中有多 深。为了解决这种深度歧义，作者采用了 多视图几何 。

他们选择一个相邻视图 (称为“参考视图”) 并使用名为 LightGlue 的特征匹配算法。LightGlue 识别“当前视图”和“参考视图”之间的对应点。

如果当前视图 (\(R_e\)) 中存在高误差区域，系统会在参考视图中找到相应的区域 (\(R'_e\)) (图 2b)。现在我们有了两个从不同角度观察同一 3D 对象的 2D 补丁。

步骤 3: 识别误差源区域

这是该方法最具几何特性的部分。系统从当前视图的相机中心通过误差区域 \(R_e\) 投射一个锥形射线。同时，它从参考视图通过 \(R'_e\) 投射一个锥体。

交集是关键。 这两个锥体在 3D 空间中的相交处构成了 误差源区域 (\(R_{zone}\))。这个交集 (图 2c) 代表了导致糟糕渲染结果的场景物理体积。

步骤 4: 点操作

一旦系统识别出造成错误的特定 3D 区域，它就会对该区域内的点执行外科手术式的操作。这与通常采用的全局 ADC 不同。

该操作涉及两个主要策略:

1. 点致密化 (修复欠采样)

如果该区域包含点但误差很高，或者该区域是空的 (稀疏) ，这意味着几何结构未被充分表示。

  • 操作: 系统使用比全局设置更低的阈值 局部 应用致密化。
  • 结果: 它专门在这个高误差区域添加新点或分裂现有特定点，从而使精细细节 (如树叶或生锈的金属纹理) 得以显现。

2. 不透明度重置 (修复病态点)

这是一个关键的创新。如果误差源区域包含具有 高不透明度 的点，但误差仍然很高，这表明这些点可能是“误报”——不应该存在在那里的遮挡物 (如之前的红团块) 。

  • 操作: 系统 重置这些点的不透明度 。
  • 原因: 通过重置不透明度，这些点变得透明。在随后的训练步骤中，优化器获得“第二次机会”来确定这些点是否真的应该存在。如果它们是有效的，它们的不透明度会恢复。如果它们是伪影，它们很可能会被修剪掉。

为了直观地了解这些特定操作的影响，请看下面的消融研究。注意“点添加 (Point Addition)”如何填补玩具的缺失几何形状，而“点重置 (Point Reset)”如何去除窗户上的伪影，使视野清晰。

Effect of key operations of LPM: Point addition captures details; Point reset calibrates geometry.

实验与结果

作者将 LPM 作为插件集成到现有模型中，即 3DGS (用于静态场景) 和 SpaceTimeGS (用于动态 4D 场景) 。他们在具有挑战性的数据集上进行了测试，包括 Mip-NeRF 360、Tanks & Temples 和 Neural 3D Video 数据集。

静态场景表现

静态场景的结果显示视觉保真度有一致的提升。通过针对易错区域，LPM 允许模型捕捉到原始 3DGS 会平滑掉的高频细节。

在下图中，比较 3DGS* 列与 3DGS+LPM 。

  • 行 (a): 看那棵盆景树。3DGS 留下了漂浮物并模糊了叶子。LPM 产生了清晰、干净的重建。
  • 行 (c): 深度图的改进是不可否认的。LPM 更有效地将树枝与背景分离开来。

Qualitative evaluation of LPM on static datasets. Comparisons show improved details in light artifacts, completeness, and depth structure.

在定量方面，该方法也表现出色。团队进行了消融研究，以证明 LPM 的每个组件都对成功做出了贡献。

Performance comparison table showing Full LPM outperforms versions without point addition or reset.

表 3 (上图) 表明，移除“点添加”或“重置”都会降低 PSNR (峰值信噪比) 和 SSIM (结构相似性) ，证实了添加细节和去除不良遮挡物对于最佳性能都是必要的。

动态 4D 表现

也许更令人印象深刻的是 LPM 在 4D 动态场景 (视频) 中的应用。动态场景以困难著称，因为当模型试图解释它无法理解的运动时，往往会出现“漂浮物”。

作者将 LPM 应用于 SpaceTimeGS (STGS) 。 下面表 2 中的定量结果显示，带有 LPM 的 STGS 实现了最先进的 FPS 和渲染质量。

Quantitative comparisons on the Neural 3D Video dataset showing LPM achieves top performance.

在视觉上，这转化为对细微结构和快速运动的更好处理。在下图中，观察狗的舌头 (行 b) 。在标准 STGS 中，舌头模糊或缺失。使用 LPM，即使在运动中也能保留精细的几何结构。

Qualitative evaluation on dynamic video dataset. LPM improves rendering of transparent windows and dynamic movements like a dog’s tongue.

鲁棒性

最后一组视觉比较有助于说明该方法在各种场景下的鲁棒性，包括户外环境和复杂的室内杂物。在每种情况下，红框都突出显示了 LPM 成功重建了基线方法遗漏或损坏的几何结构的区域。

Additional qualitative comparisons showing LPM superior performance in various static and dynamic scenes.

结论与启示

“Improving Gaussian Splatting with Localized Points Management” 这篇论文给我们上了一堂关于机器学习优化的宝贵一课: 上下文很重要。

标准 3D 高斯泼溅依赖全局统计数据 (平均梯度) 来管理场景结构。虽然高效，但这种方法对局部几何不一致性视而不见。通过引入 LPM , 研究人员有效地给模型戴上了一副立体眼镜。它现在可以查看自己的错误，在 3D 空间中对其进行三角定位，并执行针对性的手术来修复它们。

主要收获包括:

  1. 几何约束: 使用多视图几何 (锥体交集) 可以精确定位简单梯度跟踪所遗漏的错误。
  2. 不透明度重置: 激进地重置高误差区域中点的不透明度是摆脱局部极小值和去除视觉伪影的简单而强大的方法。
  3. 通用性: LPM 不是一种新架构，而是一种 训练策略。这意味着它可以插入各种高斯泼溅框架 (静态或动态) 中以提升性能，而无需改变核心渲染管道。

对于该领域的学生和研究人员来说，这篇论文强调了将“老派”计算机视觉技术 (如特征匹配和对极几何) 与现代神经渲染相结合，以解决深度学习模型挥之不去的伪影问题的潜力。