引言: 自动驾驶安全中的速度需求

想象一下，你正开车行驶在郊区的街道上。阳光明媚，音乐流淌，你感到非常放松。突然，从一辆停着的卡车后面，一个孩子追着球跑到了路中间。你的大脑瞬间处理了这一视觉信息——你的脚猛踩刹车，车子在离孩子仅仅几英寸的地方尖叫着停下。有惊无险与酿成悲剧之间的差别，往往就在那几分之一秒。

现在，想象一辆自动驾驶汽车 (AV) 处于同样的场景中。多年来，计算机视觉研究一直侧重于准确性——教汽车识别出那是孩子而不是信箱。但在自动驾驶的世界里，识别物体仅仅是战斗的一半。另一半是时间 。

如果一辆自动驾驶汽车需要 500 毫秒来处理图像并决定刹车，那可能就太晚了。

这就引出了当前自动驾驶技术的一个关键瓶颈: 检测准确性与响应时间之间的权衡。复杂的深度神经网络 (DNN) 虽然极其准确，但计算量大，往往导致推理延迟。另一方面，轻量级模型虽然速度快，但容易出错。

在这篇文章中，我们将深入探讨论文 “When Every Millisecond Counts: Real-Time Anomaly Detection via the Multimodal Asynchronous Hybrid Network” 中提出的一项迷人解决方案。研究人员提出了一种新颖的架构，不仅仅依赖标准相机。相反，他们将标准 RGB 图像与事件相机 (Event Cameras) ——一种对运动在微秒级做出反应的仿生传感器——进行了融合。

图 1. 对于强调响应时间的实时异常检测而言，整体响应时间主要受模型推理时长和识别异常所需时间的影响。

如图 1 所示，总响应时间不仅仅取决于计算机芯片的速度 (\(T_{inference}\)) ；它还取决于异常发生与系统意识到出问题之间的延迟 (\(\Delta T_{detection}\)) 。这项研究的目标就是同时最小化这两者。

背景: 为什么传统相机还不够

要理解这项创新，我们首先需要看看目前大多数自动驾驶汽车所使用的“眼睛”——RGB 相机——的局限性。

基于帧的限制

标准相机基于帧率机制工作 (例如，每秒 30 或 60 帧) 。它们捕捉世界的快照，等待，然后捕捉下一张。如果一个快速移动的物体出现在两帧之间，系统在下一次快门点击之前实际上对它是视而不见的。此外，处理这些数据量庞大的帧需要时间。在高速场景中，这一微小的间隙可能是致命的。

事件相机的登场

研究人员通过引入事件流 (Event Streams) 采用了一种“多模态”方法。事件相机 (或动态视觉传感器 - DVS) 的工作方式截然不同。它不是拍摄照片，而是每个像素独立且异步地工作。只有当像素检测到亮度变化时，它才会发送数据 (一个“事件”) 。

从数学上讲，当对数亮度变化超过阈值 \(C\) 时，就会触发一个事件:

方程 4: 事件触发阈值

这产生了一系列稀疏的数据点 \((x, y, t, p)\)——位置、时间戳和极性 (亮度增加或减少) 。其优势是巨大的:

  1. 微秒级分辨率: 它们几乎瞬间捕捉运动。
  2. 无运动模糊: 它们完美应对高速运动。
  3. 高动态范围: 它们在隧道或刺眼的阳光下都能良好工作。

然而，事件相机缺乏 RGB 相机丰富的纹理和颜色数据。你可以完美地看到运动，但可能很难分辨移动的物体是人还是纸箱。

本文的核心贡献是一个多模态异步混合网络 (Multimodal Asynchronous Hybrid Network) , 它结合了“什么” (RGB 空间细节) 和“何时” (事件时间速度) 来实现实时异常检测。

核心方法: 多模态异步混合网络

这是系统的核心。研究人员设计了一个网络，并行处理这两种截然不同的数据类型，并将它们融合以做出瞬间决策。

让我们一步步拆解这个架构。

图 2. 提出的多模态异步混合网络概览。(a) 该框架整合 RGB 图像和事件流作为输入。外观特征使用 ResNet 架构从 RGB 图像中提取，事件特征通过使用样条卷积的异步图神经网络 (GNN) 从事件流中得出。然后融合这些特征并由检测头处理以生成物体边界框。(b) 在物体层面，特征通过利用边界框先验的全局图进行细化，并使用门控循环单元 (GRU) 捕获时间依赖性。注意力机制动态地为检测到的物体分配权重，通过强调异常物体来增强异常检测的焦点和准确性。

1. 异步图神经网络 (事件分支)

图 2(a) 的顶部分支处理事件流。由于事件数据是稀疏且非结构化的 (它是一团点云，而不是像素网格) ，标准的卷积神经网络 (CNN) 效果不佳。

相反，作者将事件建模为图 (Graph) 。 每个事件都是图中的一个节点，与其在空间和时间上的邻居相连。他们根据空间邻近度定义两个事件之间的“边” (连接) 。

两个节点之间的边特征 \(e_{ij}\) 是基于它们的归一化空间坐标 (\(n_{x,y}\)) 计算的:

方程 6: 边特征计算

为了处理这个图，他们使用了一个深度异步图神经网络 (DAGr) 。 该网络使用一种称为“样条卷积 (spline convolution) ”的特殊操作。它允许网络高效地聚合来自相邻事件的信息。

方程 7: 样条卷积更新规则

这里，\(f'_i\) 是节点的更新特征，\(W_c\) 是权重矩阵，求和部分聚合了来自邻居 \(\mathcal{N}(i)\) 的信息。这种设置允许网络让信息在事件云中“流动”，从而捕捉运动的精确几何形状。

2. CNN 特征提取 (RGB 分支)

图 2(a) 的底部分支更为传统。它使用 ResNet 架构来处理 RGB 帧。这提取了丰富的“外观特征”——汽车、行人及道路的纹理、颜色和形状。

3. 特征融合

这里有一个巧妙的设计选择。RGB 特征被注入到事件图中。对于事件图中的每个节点 (对应图像中的特定位置) ，系统会在该坐标处从 CNN 中采样特征向量。

方程 8: 特征融合

通过将事件特征 \(f_i\) 与图像特征 \(g_I\) 拼接，图节点现在同时拥有高速运动数据和丰富的视觉上下文。这些融合后的数据被送入检测头，以在物体周围创建边界框。

4. 时空异常检测

一旦系统检测到物体 (如汽车或行人) ，它需要决定: 这个物体行为异常吗?

这发生在异常检测网络中 (图 2b) 。

对于每个检测到的物体，系统提取两个特定的特征向量:

  1. 事件特征 (\(o_{t,i}\)): 使用 GNN 从物体边界框内的事件中得出。
  2. 图像特征 (\(g_{t,i}\)): 从边界框内的 RGB 像素中得出。

方程 9: 用于提取物体特征的异步 GNN

这些被拼接到一个单一的物体表示向量 \(p_{t,i}\) 中:

方程 10: 特征拼接

记忆模块 (GRU)

异常很少是单个静态帧；它是一系列行为。一辆车急转弯，一个人奔跑，一次突然刹车。为了捕捉这一点，作者使用了门控循环单元 (GRU) 。

GRU 充当系统的短期记忆。它获取物体的当前特征并更新隐藏状态向量 \(h\)。这个隐藏状态携带了该物体运动和外观的“历史”。

方程 12: GRU 更新方程

模型实际上并行运行两个 GRU: 一个跟踪边界框坐标 (运动历史) ，另一个跟踪融合的视觉特征 (外观/运动历史) 。

注意力机制

并非路上的所有物体都是相关的。停着的车比移动的车更不重要。为了区分优先级，网络应用了注意力机制 。 它为每个物体计算一个权重 \(\alpha\)，有效地告诉网络应该对它投入多少“关注”。

方程 14: 注意力机制

如果一个物体表现出不稳定的运动 (由事件流捕捉) 或看起来很危险 (由 RGB 捕捉) ，注意力权重就会飙升。

最后，加权特征通过分类器输出异常分数 \(s_{t,i}\)。如果该分数超过阈值 \(\theta\)，系统就会标记紧急情况。

方程 16: 异常评分计算

方程 3: 阈值逻辑

实验与结果

研究人员在两个主要基准上验证了他们的模型: ROL (风险物体定位) 和 DoTA (交通异常检测) 。 他们还创建了一个名为 Rush-Out 的特定数据集，用于测试极端的突然事件 (比如小孩从卡车后冲出来) 。

定义成功

他们使用多个指标来衡量成功，但对于这篇特定论文而言，最重要的是响应时间 。

方程 18: 平均响应时间

他们还查看了 AUC (曲线下面积) 以衡量准确性，以及 mTTA (平均事故发生前时间) ——本质上是模型在事故发生前多少秒预测到了它？

定量性能

结果令人信服。如表 1 所示，提出的方法 (标记为“Ours”) 优于现有的最先进方法，如 AM-Net 和 FOL-Ensemble。

表 1. 提议模型与现有方法在 ROL 和 DoTA 测试数据集上的比较

数据中的关键要点:

  • 速度: 该模型在 ROL 数据集上以惊人的 579 FPS (每秒帧数) 运行。相比之下，“ConvAE”仅为 82 FPS。这是真正意义上的“实时”。
  • 延迟: mResponse (平均响应时间) 降至 1.17 秒 , 明显低于竞争对手。
  • 准确性: 尽管速度更快，但它并没有损失准确性。ROL 上的 AUC 为 0.879，是表中的最高值。

定性分析: 看见毫秒

数字令人印象深刻，但在行动中看到检测过程，更能说明为什么事件流如此重要。

考虑“冲出 (Rush-Out) ”场景。在下面的图 8(a) 中，一个男孩突然从卡车后面跑了出来。

图 8 (a) 一个男孩突然从左侧卡车后冲出。

因为男孩移动得很快，事件相机在标准视频帧之间触发了大量的活动尖峰。RGB 相机可能会看到模糊或完全错过开始的那一刻，但异步 GNN 能够立即捕捉到突然的运动集群。

这同样适用于车辆切入。在图 4 中，我们可以看到注意力机制在起作用。

图 4. 当车辆突然切入时，随着它的接近，其注意力分数增加，表明其作为潜在异常的重要性正在上升。

底部的热力图显示了“注意力图”。注意注意力 (明亮的黄色斑点) 是如何在白色 SUV 开始侵入车道的瞬间锁定它的。模型有效地忽略了背景，并将计算资源集中在威胁上。

帧间检测

该模型最独特的功能之一是帧间异常检测 。 标准模型只看第 1 帧，然后看第 2 帧。

图 5. 在高速物体突然出现的场景中，连续的事件流帮助模型执行帧间异常检测，从而实现更早且更及时的异常检测。

如图 5 所示，如果一个物体在视频帧之间的 (比如说) 33 毫秒内快速移动，事件流 (中间面板) 就会亮起。这允许模型连续更新其异常分数，而不是等待下一张完整的图像。这就是超低延迟背后的秘诀。

挑战性环境

事件相机在光线条件恶劣的情况下也表现出色。图 7 展示了“隧道出口”场景——这是相机的经典难题，刺眼的光线会使图像泛白。

图 7. 来自 Rush-Out 数据集的示例展示了我们方法的有效性。在强烈背光下的隧道出口处，一辆车突然从隧道边缘出现。利用事件数据的优势，我们的方法能够在如此具有挑战性的场景中实现快速且准确的异常检测。

因为事件相机检测的是变化而不是绝对亮度，所以它们不会被阳光致盲。尽管存在可能使标准纯 RGB 系统混淆的眩光，从隧道中出来的车辆仍被清晰地检测到 (红框) 。

结论

“When Every Millisecond Counts” 一文中提出的研究为在自动驾驶中集成基于事件的视觉提供了令人信服的论据。通过摆脱纯粹基于帧的世界并拥抱事件流的异步特性，作者构建了一个不仅更准确，而且至关重要的是——更快——的系统。

主要要点如下:

  1. 安全即时间: 减少推理延迟和检测延迟与检测准确性同样重要。
  2. 互补传感器: RGB 提供上下文 (它是什么？) ，而事件相机提供动态 (它现在如何移动？) 。
  3. 异步处理: 使用图神经网络允许我们在运动发生时处理数据，而不是等待帧缓冲区填满。

对于计算机视觉和机器人技术的学生来说，这篇论文是一个极好的例子，说明了硬件创新 (事件相机) 如何需要新的软件架构 (异步 GNN) 来释放其全部潜力。随着我们向 L5 级自动驾驶迈进，像这样模仿生物中央凹视觉 (细节) 和周边视觉 (运动) 相结合的混合网络，很可能会成为标准配置。