变化检测是遥感计算机视觉领域最基础的任务之一。无论是评估自然灾害后的损失、监测城市扩张，还是追踪森林砍伐，核心目标始终如一: 对比在不同时间拍摄的两张图像，并识别出其中的差异。

多年来，标准的做法是将这项任务视为使用静态图像进行的“找不同”游戏。我们取一张时间点 A 的图像，一张时间点 B 的图像，然后让神经网络去比较它们。

但是，如果我们一直以来的看法都是错的呢？如果我们不再比较两张静态照片，而是将这一对图像视为一段视频 , 会发生什么？

在这篇文章中，我们将深入探讨 Change3D , 这是一个由武汉大学、香港大学和字节跳动 (Bytedance) 的研究人员提出的新颖框架。这篇论文提出了一个范式转变: 通过将双时相图像视为一段“微小视频”，并使用 3D 视频编码器进行处理，我们能够以一小部分计算成本实现最先进的结果。

现有范式的问题

要理解为什么 Change3D 是一个如此巨大的突破，我们需要先看看当前是如何进行变化检测的。

“孪生网络”的困境

大多数现代方法使用孪生网络 (Siamese Network) 架构。想象一下你有两张同一个城市街区的照片，一张拍于 2020 年，一张拍于 2024 年。

  1. 图像编码: 你将 2020 年的照片通过一个庞大的神经网络 (如 ResNet 或 Transformer) 来提取特征。你对 2024 年的照片也做完全相同的事情。
  2. 变化提取: 你取出这两组特征，将它们输入到一个复杂的“变化提取器”或“融合模块”中。这个模块试图比较这些特征并找出发生了什么变化。
  3. 解码: 最后，解码器生成一张高亮显示变化的地图。

虽然这种方法行之有效，但它有一个主要缺陷: 效率低下。

图像编码器是“任务无关”的。它花费大量的算力来描述两张图像中的所有事物——房子、道路、树木——却不知道它的唯一工作只是寻找变化。只有在这些繁重的工作完成后，网络才开始寻找差异。

图 1. 现有变化检测和描述方法的参数分布显示，大多数参数集中在图像编码上，只有很少一部分分配给变化提取。这种不平衡表明对任务相关参数学习的重视不足。相比之下，我们的方法主要关注视频编码，这是一个能有效提取变化的任务特定过程。

如上图所示，现有的方法 (如 ChangeOS 或 DamFormer) 将其绝大多数参数 (绿色条) 分配给图像编码。实际上用于核心任务——变化提取的能力 (蓝色条) 非常少。这是一个巨大的不平衡。

复杂性陷阱

由于编码器独立处理图像，它们在特征提取阶段不进行通信。为了弥补这一点，研究人员不得不设计越来越复杂和沉重的“变化提取器”以便在后期拼接信息。这导致模型变得臃肿，运行缓慢，且难以适应不同的任务 (如生成描述 vs. 检测) 。

Change3D 解决方案: 它就是一段视频

Change3D 背后的研究人员提出了一个简单的问题: 既然我们拥有旨在理解运动和时间变化的视频模型，为什么还要模拟两张静态图像之间的比较呢?

他们建议不把双时相图像对视为两个独立的输入，而是一个视频序列。

图 2. 以前的范式与我们的范式对比。(a) 以前的范式将双时相图像对视为单独的输入，每个图像由共享权重的图像编码器单独处理以提取空间特征，然后是一个专门的变化提取器来捕捉差异，最后由解码器进行预测。(b) 我们提出的范式从视频建模的角度重新思考变化检测和描述任务。通过在双时相图像之间加入可学习的感知帧，视频编码器促进了感知帧与图像之间的直接交互以提取差异，消除了对复杂变化提取器的需求，为多任务提供了统一的框架。

如图 2 所示:

  • (a) 以前的范式: 图像的并行处理，随后是一个复杂的交互步骤。
  • (b) 我们的范式 (Change3D) : 图像被堆叠成一个序列。视频编码器同时处理它们，允许网络在时间维度上“看到”发生的变化。

秘密武器: 感知帧 (Perception Frame)

你可能会想: “两帧的视频非常短。模型如何有效地捕捉过渡？”

这就是作者引入一个绝妙概念——感知帧 (Perception Frame) 的地方。

他们不仅仅向模型输入 \(\{Image_1, Image_2\}\)，而是在中间插入一个可学习的帧，记为 \(I_P\)。输入变成了一个三帧序列:

\[ \text{Input} = [I_1, I_P, I_2] \]

可以把感知帧想象成一块空白画布或 Transformer 中的“查询 (Query) ”令牌。当 3D 视频编码器处理序列时，它允许信息从第一张图像流过感知帧，到达第二张图像。感知帧本质上“吸收”了差异信息。

展示视频编码器输入结构的公式。

在这个公式中，\(\mathcal{F}_{\mathrm{enc}}\) 是一个标准的视频编码器 (如 X3D 或 SlowFast) 。符号 \(\bigodot\) 代表沿时间维度的拼接。模型处理这个体积数据并输出天然包含变化信息的特征。

适用于所有任务的统一框架

Change3D 最令人印象深刻的方面之一是它的通用性。在过去，你可能需要为二值变化检测 (是否发生了变化？是/否) 设计一种特定的架构，而为变化描述 (用文字描述发生了什么变化) 设计一种完全不同的架构。

由于 Change3D 依赖于通用的视频编码器，它可以使用同一个核心骨干网络处理四种不同的任务。

图 3. Change3D 针对二值变化检测、语义变化检测、建筑物损伤评估和变化描述的整体架构。(a) 二值变化检测需要获取一个特征来代表变化的目标，因此加入了一个感知帧用于感知。(b) 语义变化检测涉及表示 T1 和 T2 时刻的语义变化以及二值变化。为了实现这一点，集成了三个感知帧以促进语义变化学习。(c) 建筑物损伤评估需要表达两个感知特征用于建筑物定位和损伤分类。因此，插入了两个感知帧来捕捉建筑物损伤。(d) 变化描述涉及生成代表内容变更的特征，因此加入一个感知帧来解释内容变化。

让我们分解它是如何处理这些不同目标的，如图 3 所示:

  1. 二值变化检测 (BCD) : 我们插入一个感知帧。视频编码器提取特征，一个简单的解码器预测显示变化发生位置的掩膜。
  2. 语义变化检测 (SCD) : 这里我们需要知道什么变了 (例如，“森林”变成了“城市”) 。我们使用三个感知帧来捕捉时间 1 的语义状态、时间 2 的语义状态以及二值差异。
  3. 建筑物损伤评估 (BDA) : 我们需要找到建筑物并对其受损程度进行分类。使用了两个感知帧: 一个用于定位，一个用于损伤分类。
  4. 变化描述 (CC) : 感知帧吸收视觉变化，Transformer 解码器将这些视觉特征转化为自然语言句子 (例如，“北部出现了新建筑物”) 。

详细架构

这种方法的美妙之处在于它的简洁性。通过将“思考”过程卸载给预训练的视频编码器 (它已经很擅长理解时间动态) ，架构的其余部分可以保持轻量级。

图 6. Change3D 的详细架构。L{1-4} 表示每层中的块数量。

如图 6 详细所示，系统包括:

  • 视频编码器: 这使用了 3D 卷积。与仅在高度和宽度上滑动的 2D 卷积不同，3D 卷积也会在时间上滑动。这意味着模型会在网络的每一层自然地混合“之前”图像和“之后”图像的特征。
  • 解码器: 由于视频编码器在提取“感知特征”方面做得非常好，解码器不需要很复杂。对于检测任务，使用简单的轻量级卷积解码器即可。

展示简单解码过程的公式。

如上所示，解码器本质上只是对特征进行上采样并将它们相加——不需要复杂的注意力机制或特征融合模块。

为什么有效: 理论视角

论文提供了一个令人信服的理论论据，解释了为什么视频建模优于孪生网络方法。

在标准方法 (以前的范式) 中，模型试图基于独立提取的特征 (\(F_1\) 和 \(F_2\)) 来估计变化输出 (\(O\)) 的概率。互信息 (Mutual Information) ——衡量一个变量能告诉你多少关于另一个变量的信息——是有限的，因为 \(F_1\) 和 \(F_2\) 是孤立创建的。

在 Change3D 范式中，概率是以整个序列为条件同时进行的:

比较概率模型的公式。

通过包含感知帧 \(I_P\) 并作为一个整体块进行处理，系统的熵 (不确定性) 降低了。

展示熵不等式的公式。

简单来说: 视频模型没那么“困惑”，因为它在同一时间看到了两张图像的上下文，而不是试图在一边看另一张图时一边记住这一张图。

实验与结果

理论很棒，但在实践中效果如何？作者在涵盖所有四项任务的八个标准基准上测试了 Change3D。结果非常显著，特别是在效率方面。

1. 二值变化检测

在 LEVIR-CD (建筑物变化) 和 WHU-CD 等数据集上，Change3D 击败了庞大、复杂的模型。

表 1. 不同二值变化检测方法在 LEVIR-CD、WHU-CD 和 CLCD 数据集上的性能比较。

请看上表中的 #Params(M) (参数量) 一列。

  • 之前的最先进模型 AMTNet 使用了 1644 万个参数。
  • ChangeFormer 使用了 4103 万个参数。
  • Change3D 仅使用了 154 万个参数。

尽管体积小了 10 到 20 倍，Change3D 却实现了更高的 F1 分数 (在 LEVIR-CD 上为 91.82%) 和更快的推理速度。这对于在硬件受限的卫星或无人机上部署这些模型来说是一个颠覆性的改变。

2. 建筑物损伤评估

这是一个更难的任务，要求模型区分“轻微损伤”、“严重损伤”和“损毁”。

表 3. 不同建筑物损伤评估方法在 xBD 数据集上的性能比较。

Change3D 再次高效地占据主导地位。它仅使用了 PCDASNet 6% 的参数和大约 12% 的 FLOPs (浮点运算次数) ，却在几乎所有损伤类别中实现了最高的 F1 分数。

3. 变化描述

模型能描述它所看到的内容吗？

表 4. 不同变化描述方法的性能比较。

使用 BLEU-4 和 CIDEr (衡量生成文本与人类描述接近程度的指标) 等指标，Change3D 树立了新标准。它特别擅长理解变化的上下文，而不仅仅是像素差异。

可视化模型的“大脑”

为了证明视频编码器实际上是在学习“看”变化，作者可视化了注意力图——也就是模型关注的地方。

图 4. 双时相特征和提取的变化的可视化。

在图 4 中，请看 \(F_C\) 列 (感知特征) 。

  • GASNet 和 AMTNet (第 1 行和第 2 行) 显示出有些杂乱的激活。
  • Change3D (底行) 在确切发生变化的区域 (建筑物占地) 显示出令人难以置信的清晰、集中的注意力。这证实了 3D 卷积有效地过滤掉了背景噪声 (未改变的道路、树木、草地) ，并仅关注时间上的差异。

定性结果

让我们看看最终的输出结果。

二值检测: 在下图中，白色像素代表正确检测到的变化。红色像素是遗漏的变化。你可以看到，与 EATDer 等竞争对手相比，Change3D 生成了清晰、干净的掩膜，错误非常少。

图 7. 二值变化检测方法的定性比较。

损伤评估: 在这里，模型必须对损伤严重程度进行分类 (绿色=轻微，橙色=严重，红色=损毁) 。Change3D 与地面真值 (Ground Truth) 非常吻合，准确识别了其他模型遗漏的损毁结构。

图 10. xBD 数据集上的定性比较。

变化描述: Change3D 生成的描述在上下文上是准确的。当其他模型可能会产生物体幻觉时，Change3D 正确地识别出“沙漠中沿路出现了大量房屋”。

图 11. LEVIR-CC 数据集上的定性比较。

为什么效率很重要

参数量的大幅减少 (高达 94% 的减少) 不仅仅是一个好看的数据。

  1. 卫星边缘计算: 我们经常希望在轨处理数据以节省带宽。将巨大的模型发送到太空很难；发送 Change3D 是可行的。
  2. 灾害响应: 在分析地震后的损失时，时间至关重要。一个运行速度更快且需要更少 GPU 显存的模型可以在几分钟而不是几小时内处理整个城市的数据。

结论

Change3D 代表了遥感领域的“回归本源”时刻。作者没有构建越来越复杂的网络来强制进行静态图像之间的交互，而是意识到变化本质上是一个时间过程。

通过将双时相图像视为微小视频并使用可学习的感知帧，他们释放了 3D 视频编码器的力量。其结果是一个比之前的复杂 2D 架构更快、更轻、更准确的统一框架。

这篇论文提醒研究人员: 有时候解决问题的最好方法不是造一把更大的锤子，而是改变你看待钉子的角度。在这个案例中，将“图像”视为“视频”改变了一切。

数据来源: 本文中的分析和图片基于 Zhu 等人的论文 Change3D: Revisiting Change Detection and Captioning from a Video Modeling Perspective (2023)。