引言

想象一下，你站在房间中央，手持相机，拍了一张 \(360^{\circ}\) 的全景照片。然后，走进隔壁房间再拍一张。你能仅凭这两张照片，就重建出整栋房子的平面图——而且精确到厘米级吗？

这就是宽基线平面图重建 (Wide-Baseline Floor Plan Reconstruction) 问题，它极其困难。与视频流中相隔仅毫米的帧不同，宽基线图像的拍摄位置相距甚远 (通常在不同房间) 。视觉上的重叠部分很小，传统的计算机视觉算法很难将这些数据“孤岛”拼接成一张连贯的地图。

传统上，我们有两种解决方法。我们可以使用几何优化 (如光束法平差 Bundle Adjustment) ，它在数学上很精确，但在数据稀缺时非常脆弱。或者我们可以使用深度学习 , 它擅长模式识别，但经常会产生幻觉，捏造出不存在的结构。

BADGR (Bundle Adjustment Diffusion Conditioned by GRadients，基于梯度的光束法平差扩散模型) 登场了。

在这篇文章中，我们将剖析一篇引人入胜的论文，该论文提出了一种混合方法。BADGR 并没有在几何学和 AI 之间做选择；它融合了两者。它使用了一个扩散模型——也就是 DALL-E 和 Stable Diffusion 背后的技术——但使用了源自经典几何优化的“梯度”作为条件。结果如何？一个能够“构想”出与相机实际所见在数学上一致的平面图的系统。

Figure 1: BADGR 概览，展示了从粗糙输入到精细输出的过程。

如 Figure 1 所示，该系统获取充满噪声、不连贯的观测数据，并迭代地将其优化为清晰、连通的平面图。让我们来看看这是如何实现的。

背景: 两大支柱

要理解 BADGR，我们需要快速回顾它所依赖的两大支柱: 光束法平差 (Bundle Adjustment) 和扩散模型 (Diffusion Models) 。

1. 光束法平差 (“老派”几何学)

光束法平差 (BA) 是 3D 重建的黄金标准。这是一个优化问题。你有一组相机和一组 3D 点。你想同时调整相机的位置和这些点的位置，使得如果将 3D 点投影回相机镜头，它们能与照片中的像素完美对齐。

  • 优点: 当你有大量重叠图像时非常精确。
  • 缺点: 它需要一个良好的初始猜测。如果你开始的位置离真相太远，数学运算就会陷入“局部极小值”，给你一个扭曲的结果。而且它不知道什么是“房间”——它只看到点。

2. 扩散模型 (生成式 AI)

扩散模型是经过训练用于去噪数据的生成模型。在训练过程中，你拿一张清晰的图像 (或平面图) ，慢慢添加噪声直到它变成垃圾数据。然后，你训练一个神经网络来逆转这个过程——观察垃圾数据并预测出清晰的版本。

  • 优点: 它们学习“先验”。在平面图上训练的扩散模型知道墙壁通常是直的，房间是闭合的回路，角落通常呈 90 度。
  • 缺点: 纯粹的生成可能会忽略现实。扩散模型可能会生成一个漂亮的平面图，但这与你拍摄的实际房子毫无关系。

BADGR 的洞见

BADGR 的作者意识到现有的“引导扩散”方法效率低下。通常，人们训练一个扩散模型，然后在推理过程中尝试使用损失函数来“引导”它。BADGR 采取了一种不同的方法: 它显式地计算几何调整量 (梯度) ，并将它们作为输入条件馈送给扩散模型。

核心方法: BADGR 内部原理解析

BADGR 的目标是同时估计两件事:

  1. 布局 (Layouts) : 定义房间的 2D 多边形。
  2. 位姿 (Poses) : 拍摄照片时相机所在的位置。

该架构是一个循环，用于将充满噪声的场景细化为清晰的场景。让我们看看高层架构。

Figure 2: BADGR 的架构。

如 Figure 2 可视化所示，该过程涉及获取场景状态 (布局 + 位姿) 并将其通过一个平面 BA 层 (Planar BA Layer) 。 该层计算当前状态与图像相比有多“错误”。这些误差 (调整量) 被压缩并馈送到一个 Transformer 中，该 Transformer 预测出去噪后的场景。

让我们将其分解为三个关键组件。

1. 平面光束法平差层

这是系统的“几何引擎”。在标准的光束法平差中，我们要匹配独特的特征点 (比如桌角) 。但在宽基线室内场景中，特征点是不可靠的，因为墙壁通常缺乏纹理 (如纯白漆面) 。

BADGR 采用了一种列式 (column-wise) 的方法。它将全景图中的每一列垂直像素都视为一条测量射线。

Figure 3: 解释射线投射和投影的列式平面 BA 模块。

Figure 3 展示了其逻辑:

  1. 射线投射 (Ray Casting) : 对于全景图中的每一列，模型根据当前估计的相机位姿向 3D 世界投射一条射线。
  2. 相交 (Intersection) : 计算该射线击中当前估计墙壁 (\(l_{m,k}\)) 的位置。
  3. 重投影 (Reprojection) : 将该交点投影回图像，查看墙壁应该出现的位置与图像分割显示的地面边界 (\(\tilde{B}^{i,c}\)) 位置的对比。
  4. 调整 (Adjustment) : 计算差异 (误差) 。

至关重要的是，BADGR 不仅计算误差；它还计算梯度——即为了最小化该误差所需的具体数学“微调量”。它使用单步的 Levenberg-Marquardt (LM) 算法，这是一种标准的非线性优化技术。

Algorithm 1: 计算墙壁和位姿调整量的逻辑。

如上文 Algorithm 1 所述，对于每一列，系统计算:

  • \(\Delta b\): 墙壁移动多少。
  • \(\Delta \mathcal{T}\): 相机移动多少。

这就产生了一组巨大的“密集调整量”——来自每个像素列的成千上万条关于墙壁和相机应该移动到哪里的微小建议。

2. 列几何编码器 (Column Geometry Encoder)

我们现在拥有成千上万的原始几何建议。我们不能把所有这些直接喂给 Transformer；数据量太大了。

列几何编码器充当压缩器的角色。它获取密集的每列调整量 (\(\Delta b, \Delta \mathcal{T}\)) 并对其进行聚合。它使用傅里叶特征来编码每面墙和每个相机调整量的统计数据 (均值和标准差) 。

这一步将原始的数学梯度转化为神经网络可以理解的丰富“特征嵌入”。它有效地将“几何语言” (向左移动 5 厘米) 翻译成了“神经语言” (代表空间差异的向量) 。

3. Transformer 去噪器 (Transformer Denoiser)

这是 BADGR 的“大脑”。它是一个自注意力 Transformer，类似于大型语言模型中使用的架构，但针对几何进行了调整。

它接受两个输入:

  1. 噪声场景: 房间角落和相机的当前估计坐标。
  2. 几何引导: 我们刚才讨论的来自 BA 层的嵌入。

Transformer 处理这些输入以推理由全局结构。例如，BA 层可能会根据相机 1 说“把墙 A 向左移”，根据相机 2 说“把墙 A 向右移”。简单的优化器可能只会取平均值并失败。然而，Transformer 会查看上下文。它可能会意识到将墙 A 向左移会使房间形状变得不可能 (例如，自相交) ，因此它会优先考虑从训练数据中学到的结构合理性。

训练目标

BADGR 被训练来逆转噪声过程。但它不仅被训练去匹配真值坐标 (L2 损失) ；它还被训练去最小化重投影误差——确保生成的房间实际上与照片对齐。

损失函数结合了这些目标:

Loss Function Equation

其中 \(\mathcal{L}_{L2}\) 是标准的坐标距离损失:

L2 Loss Equation

而 \(\mathcal{L}_{proj}\) 检查投影的墙壁是否与图像边界匹配:

Projection Loss Equation

这种双重损失方法确保模型既满足几何证据 (照片) ，又满足结构先验 (有效的房间是什么样子) 。

实验与结果

这种复杂的混合架构实际上比现有方法效果更好吗？作者在多个数据集上测试了 BADGR，包括 ZInD (Zillow 室内数据集) 和 RPLAN 。

定性结果: 眼见为实

让我们看看视觉证据。在 Figure 4 中，我们看到了“之前” (初始) 状态和“之后” (BADGR) 状态的对比。

Figure 4: 比较初始噪声布局与 BADGR 优化后布局的定性结果。

请注意中间一列 (“Optimized”) 。注意那些在“初始”阶段呈锯齿状且断开的墙壁是如何变得平直、连通且结构合理的。代表相机位置的“星星”也移动到了正确的位置，以最大化视图的一致性。

该模型甚至能够处理极端的噪声。在使用 RPLAN 数据集的实验中 (见下文 Figure 12 )，研究人员在输入中添加了显著的高斯噪声。BADGR 成功地从混乱中提取出了连贯的平面图。

Figure 12: BADGR 优化具有高输入噪声的 RPLAN 布局。

定量结果: 数据说话

定量表格突出了 BADGR 的精度。指标“Visible walls (cm)”衡量墙壁位置的平均误差。

Table 1: ZInD 数据集上的位姿和布局误差。

在 Table 1 中，对比 BADGR 与 CovisPose+ (基线初始化) 以及 BA-Only (没有扩散模型的标准优化) 。

  • 0.6 张图像/房间 (极端稀疏性) : BADGR 的中位布局误差为 4.5 cm , 而 BA-Only 为 6.8 cm 。
  • 位姿平移: BADGR 显著降低了相机位置误差 (从 BA-Only 的约 12cm 降至约 9cm) 。

这证明了扩散组件不仅仅是在“想象”细节；它正在积极帮助优化过程，使其比单纯的数学计算更准确地解决几何问题。

对噪声的鲁棒性

BADGR 最令人印象深刻的方面之一是它的鲁棒性。作者进行了消融研究 (通过移除模型的部分组件来观察结果的测试) 。

Table 4: 显示 BA 层重要性的消融分析。

Table 4 显示，如果你移除平面 BA 层 (“BA Inputs” 列) ，误差会飙升 (从 7.2 cm 升至 8.6 cm) 。如果你移除重投影损失，情况也会变差。这证实了学习到的先验知识与显式几何梯度的结合是至关重要的。两者单独使用效果都不理想。

结论与启示

BADGR 代表了计算机视觉和室内测绘的一大进步。通过将“几何优化”视为“生成式扩散”的一个条件，作者创造了一个两全其美的系统。

以下是主要收获:

  1. 梯度作为条件: BADGR 没有硬编码优化过程，而是使用几何梯度作为神经网络的提示。
  2. 结构合理性: 扩散模型充当强大的正则化项，确保即使在视觉数据稀疏或嘈杂的情况下，墙壁也能形成合乎逻辑的房间。
  3. 数据效率: 该系统在图像非常少的情况下 (平均每个房间不到一张图像) 也能运行得非常好，这使其适用于快速采集场景。

对于学生和研究人员来说，BADGR 是可微编程 (Differentiable Programming) 的大师级范例。它表明，在深度学习时代，我们不必抛弃经典算法 (如 Levenberg-Marquardt) 。相反，我们可以将它们深度嵌入到神经网络架构中，让我们的 AI 扎根于物理现实。

这项技术的未来应用非常广泛，从自动机器人导航 (需要精确地图) 到房地产 (仅凭几张智能手机照片生成平面图) 以及增强现实。

代码和项目详情可以在作者的项目网站上找到，这为混合几何生成模型的进一步创新打开了大门。