如果你曾经尝试过 3D 雕刻——比如创作数字角色、怪兽或场景——你就知道处理细节是多么令人头疼。雕刻出一条龙的基本轮廓是一回事；雕刻出每一片鳞片、每一只角和每一个皮肤毛孔则完全是另一场硬仗。

为了解决这个问题，专业艺术家通常不会从零开始雕刻每一个细节。他们使用“印章”，技术上称为矢量置换贴图 (Vector Displacement Maps, VDMs) 。 这是一种强大的工具，允许艺术家获取一个复杂的形状 (如鼻子、耳朵或一组鳞片) ，并将其瞬间“盖印”到基础网格上。

然而，这里有个陷阱: 制作这些印章非常困难。它需要对拓扑结构和烘焙流程有极高的技术掌握。结果是，艺术家们往往局限于购买第三方制作的预制“笔刷包”。如果你需要某种特定的外星人耳朵，而你的库里没有，那你就不走运了。

GenVDM 应运而生，这篇新颖的研究论文提出了一种生成式 AI 流程，能够将单张 RGB 图像转化为功能齐全、高质量的矢量置换贴图。

Figure 1. We introduce GenVDM, a method that can generate a highly detailed Vector Displacement Map (VDM) from a single input image. The generated VDMs can be directly applied to mesh surfaces to create intricate geometric details.

在这篇文章中，我们将深入探讨 GenVDM 的工作原理。我们将探索为什么标准的 3D 生成模型无法胜任这项任务，作者设计的巧妙“两步”重建流程，以及他们如何解决这一特定任务完全没有可用训练数据这一巨大难题。

背景: VDM 的力量

在剖析神经网络之前，我们需要了解数据格式。为什么我们要生成 VDM 而不是标准的 3D 网格？

置换贴图: 标量 vs. 矢量

在计算机图形学中，标准的置换贴图 (Displacement Map) 本质上是一个高度场 (heightfield) ——一张灰度图像，其中亮像素将表面沿法线方向“拉起”，暗像素将其“推下”。虽然这对混凝土或树皮等粗糙纹理很有用，但高度场有一个致命缺陷: 它们只能在一个方向 (垂直方向) 上置换几何体。它们无法创建悬垂 (overhangs) 、倒扣 (undercuts) 或复杂的空腔。

矢量置换贴图 (VDM) 解决了这个问题。VDM 的每个像素不再是一个单一的高度值，而是包含一个 3D 矢量 \((x, y, z)\)。这告诉几何体在 3D 空间中确切的移动位置。这使得一个平面可以扭曲和卷曲成复杂的形状，如人耳、蘑菇或钩爪——这些都是自身折叠的形状。

生成能力的缺口

最近 3D 生成式 AI 的爆炸式增长 (如将文本转化为 3D 网格的模型) 主要集中在生成完整的物体上——如整把椅子、汽车或虚拟化身。这些模型通常不是为了生成部件或表面细节而设计的。此外，仅仅从图像预测深度图是不够的，因为深度图就像标量置换贴图一样，无法表现高质量雕刻笔刷所需的复杂倒扣几何结构。

GenVDM 通过专注于生成这些可以无缝融合到现有 3D 表面上的几何补丁，填补了这一空白。

GenVDM 流程

作者的方法在逻辑上分为三个阶段。由于 VDM 的几何结构复杂且需要精确的拓扑 (3D 模型的线框结构) ，简单的“图像转 3D”网络是不够的。

该流程运作如下:

  1. 输入处理: 准备图像，使其看起来像一个印章。
  2. 多视角法线生成: 使用扩散模型从多个角度理解形状。
  3. VDM 重建: 使用一种新颖的神经变形技术将这些多视角预测转换为最终的矢量图。

Figure 2. Overview of our image-to-VDM pipeline.

第一步: 多视角法线生成

过程始于单张 RGB 图像。为了帮助模型理解这个对象是一个表面上的“补丁”，而不是虚空中的漂浮物体，作者在对象后面放置了一个灰色正方形背景 (图 2a) 。

随后，研究人员微调了一个预训练的图像到多视角的扩散模型，具体来说是 Zero123++ 。 标准的 Zero123++ 旨在生成围绕整个物体 (前、后、侧面) 的视图。然而，对于 VDM，物体的“背面”是在它所盖印的表面内部的——我们不需要看到它。

因此，作者修改了相机位姿。模型不再环绕物体，而是从前半球 (不同的方位角和仰角) 生成六张法线贴图 。 他们选择生成法线贴图 (代表表面朝向) 而不是 RGB 图像，因为法线提供了纯粹的几何信息，没有光照或纹理的干扰。

第二步: VDM 重建

一旦模型构想出了这六张法线贴图，系统就需要将它们组合成一个单一、连贯的 3D 形状。这是论文中技术最复杂的部分。

由于缺乏大规模数据集，直接训练一个大型模型来逐像素回归 VDM 是很困难的。相反，作者使用了逐形状优化 (per-shape optimization) 。 这是一个较慢但更准确的过程，即不断微调 3D 表示，直到它与生成的六张法线贴图相匹配。

Figure 3. Reconstructing VDM from multi-view normal maps. We adopt a two-step approach.

如图 3 所示，此重建过程分为两个阶段:

A 阶段: 神经 SDF 优化

首先，他们使用神经符号距离函数 (Neural SDF) 重建一个隐式 3D 网格。这创建了一个看起来像目标物体的“原始”网格 (图 3b) 。虽然准确，但这个网格只是一堆三角形的集合。它没有成为 VDM 所需的特定 UV 映射或拓扑结构。它实际上是在空间中“悬浮”的，并且可能包含噪声或孔洞。

B 阶段: 通过神经变形进行参数化

这是关键的创新点。为了将那个原始网格转化为 VDM，系统必须弄清楚如何扭曲一个平坦的方形网格，使其完美地包裹在原始网格的形状上。

标准的几何处理技术 (如 Tutte 嵌入) 试图通过数学方法将 3D 网格展平到 2D 平面上。然而，由于 A 阶段的原始网格是由 AI 生成的，它通常包含噪声、孔洞或“非圆盘拓扑” (它不是一张完美的薄片) 。面对这种混乱的数据，标准工具会完全失效，导致扭曲或破碎的贴图。

Figure 4. Comparison of different approaches for parameterizing a shape into VDM.

为了解决这个问题，作者提出使用神经变形场 (Neural Deformation Field) 。

想象一张由正方形域 \(P\) 定义的柔性橡胶板。目标是拉伸和折叠这张板，使其与目标网格 \(Q\) 匹配。作者定义了一个多层感知机 (MLP) ，记为 \(\phi_{\theta}\)，它接收正方形上的一个 2D 点并预测其 3D 位置。

优化过程移动这张橡胶板上的点，以最小化到目标网格的距离。损失函数如下所示:

Loss Function Equation

这个方程的作用如下:

  1. 第 1 项和第 2 项 (倒角距离 Chamfer Distance) : 确保橡胶板上的每个点都靠近目标网格，且目标网格上的每个点都靠近橡胶板。这使得形状相互匹配。
  2. 第 3 项 (边界约束) : 确保橡胶板的边缘保持钉在正方形底座的边界上。这对于 VDM 无缝融入周围的平面至关重要。

由于变形是由神经网络 (MLP) 控制的，它充当了一个自然正则化器 。 神经网络偏向于平滑性；它们很难学习高频噪声。这意味着 MLP 会自然地忽略原始网格中的颠簸伪影，并生成平滑、干净、高质量的 VDM (图 4c) 。

“鸡生蛋”的数据难题

为专门任务训练生成模型最大的障碍之一是数据。在这篇论文之前，不存在大规模的公共矢量置换贴图数据集。没有 VDM，你就无法训练 VDM 生成器。

为了解决这个问题，研究人员建立了一个半自动化的流程，从现有的 3D 对象数据集 (如 Objaverse )中“挖掘” VDM。

Figure 5. Data preparation pipeline.

如图 5 所示，该过程涉及一个自定义的“3D 套索”工具:

  1. 选择: 用户选择 3D 模型的一个有趣部分 (例如，哥布林的耳朵) 。
  2. 提取与重网格化: 系统提取该几何体。由于原始的 3D 部件通常是杂乱的“多边形汤” (不连通的三角形) ，系统使用*屏蔽泊松表面重建 (Screened Poisson Surface Reconstruction) *将它们融合为一个单一的水密网格。
  3. 缝合: 这是巧妙的部分。真正的 VDM 需要从平面中浮现出来。提取的部件通常具有锯齿状、不平整的边界。作者开发了一种算法 (受泊松图像编辑启发) ，将网格的边界扭曲至完全共面 (平坦) ，同时保留内部细节。

结果是一个缝合在正方形平面上的干净网格。由此，他们可以渲染训练对: 输入 RGB 图像和真实法线贴图。利用这个流程，他们创建了一个包含 1,200 个 VDM补丁的数据集来训练模型。

实验与结果

它真的有效吗？作者将 GenVDM 与最先进的单图转 3D 模型进行了比较，包括 Wonder3D、Magic123 和 大型重建模型 (LRM) 。 他们还与使用深度估计 (DepthAnything) 生成的标量置换贴图 (Scalar DM) 基线进行了比较。

定性比较

视觉上的差异是惊人的。

Figure 6. Qualitative results compared with baseline methods.

如图 6 所示:

  • Magic123 & LRM: 这些模型是为完整物体设计的。当被要求生成像鼻子或耳朵这样的表面细节时，它们通常在几何结构上很吃力，依赖纹理来伪造细节。
  • Scalar DM: 这从正面视图看能产生合理的形状。然而，看看侧面轮廓。因为它是一个标量图，它只是将几何体笔直地挤出。它无法捕捉到耳轮的曲率或鼻子的悬垂部分。
  • GenVDM (Ours): 产生了锐利、干净且具有真实 3D 结构的几何体，捕捉到了标量图遗漏的倒扣和遮挡区域。

消融实验: 为什么选择神经变形场？

作者进行了消融实验，以证明他们特定的重建方法 (B 阶段) 是必要的。

Figure 7. Qualitative results of ablation study.

在图 7 中，你可以看到对比:

  • (a) 拓扑修复 + Tutte 嵌入: 这是经典的几何处理方法。由于输入网格有噪声，嵌入产生了锯齿状、扭曲的边缘 (看 ‘a’ 列中的耳朵) 。
  • (b) 网格优化: 试图在没有神经场的情况下直接优化网格顶点会导致嘈杂、皱巴巴的结果。
  • (c) GenVDM: 神经变形场产生了一个平滑、解剖结构合理的耳朵，有效地过滤掉了重建噪声。

应用: 定制与编辑

这项技术最令人兴奋的应用之一是能够使用 2D 工具编辑 3D 几何体。因为该流程从图像开始，用户可以拍一张耳朵的照片，在 Photoshop 中将其变形 (例如，让它像精灵一样尖) ，然后再将其送回 GenVDM。

Figure 8. Customizing VDMs by editing images.

如图 8 所示，编辑输入图像 (扭曲形状或改变比例) 会产生反映这些变化的相应 3D VDM。这开启了一种工作流，艺术家可以通过简单的 2D 图像操作来设计复杂的 3D 笔刷。

结论

GenVDM 代表了弥合 2D 生成式 AI 与专业 3D 工作流之间差距的重要一步。它不是试图取代整个 3D 建模流程，而是通过自动化最繁琐的任务之一——雕刻表面细节——来增强它。

通过将修改后的多视角扩散模型与包含神经变形场的新颖、鲁棒的重建流程相结合，作者成功创建了第一种从单张图像生成矢量置换贴图的方法。

主要收获:

  • VDM > 置换贴图: 对于复杂的有机细节 (耳朵、鼻子、鳞片) ，你需要矢量置换来处理倒扣结构。
  • 神经场作为正则化器: 在处理嘈杂的 AI 生成的 3D 数据时，拟合神经场通常比标准的几何算法更好，因为网络的偏差促进了平滑性。
  • 数据为王: 当数据集不存在时，构建一个鲁棒的工具来创建它 (如 3D 套索流程) 与模型架构本身同样重要。

虽然该方法有局限性——由于优化步骤，它比前馈模型慢，并且在处理非常薄的结构时可能会遇到困难 (论文中的图 9) ——但它提供了以前的方法无法达到的几何保真度和实用性水平。对于 3D 艺术家来说，“盖印”细节的未来变得更加有趣了。