自动驾驶 (AD) 的承诺建立在信任之上——相信车辆能够感知环境、预测他人行为并规划安全路线。但是，如果几个策略性放置的纸板箱就能粉碎这种信任呢？

在对抗性机器学习领域，研究人员不断探索系统的弱点以构建更安全的系统。最近一篇题为 Enduring, Efficient and Robust Trajectory Prediction Attack in Autonomous Driving via Optimization-Driven Multi-Frame Perturbation Framework 的论文揭示了自动驾驶汽车预测其他车辆运动方式的一个重大漏洞。作者介绍了一种名为 OMP-Attack 的新方法，该方法利用简单的物理物体欺骗自动驾驶汽车 (AV) ，使其为了避免一场并不存在的“幽灵”碰撞而紧急刹车。

本博文将深入剖析这种攻击的机制，探讨它如何克服先前方法的局限性，从而在现实场景中实现持久性、计算高效性以及鲁棒性。

漏洞所在: 感知与预测

要理解这种攻击，我们首先需要了解受害者。一个典型的自动驾驶系统按流水线方式运行:

  1. 感知 (Perception) : 传感器 (如激光雷达 LiDAR) 扫描世界以检测物体并跟踪它们。
  2. 预测 (Prediction) : 系统分析被跟踪物体的历史轨迹，以预测它们下一步会去哪里。
  3. 规划 (Planning) : 自动驾驶汽车根据这些预测规划自己的路线以避免碰撞。

漏洞在于预测模块。如果攻击者能够篡改输入到该模块的历史数据，他们就能迫使自动驾驶汽车预测一场并未发生的碰撞。

攻击场景

想象一辆自动驾驶汽车 (下称“受害 AV”) 正在车道上行驶。路边停着另一辆车 (下称“对抗车辆”) 。攻击者希望受害 AV 相信这辆停着的车正准备切入车流，从而导致受害者紧急刹车。

为了做到这一点，攻击者在停放的车辆附近放置对抗物体——像纸板箱这样的简单物品。这些物体会反射受害 AV 激光雷达传感器的脉冲。感知系统会错误地将这些点与停放的车辆归为一类，从而偏移其感知到的中心和朝向。这种被破坏的“历史数据”被输入到预测模型中，模型随之预测出一条危险的轨迹。

Figure 1. Attack scenario of indirect trajectory prediction attack.

如图 1 所示，正常场景 (a) 允许受害者安全通过。在攻击场景 (b) 中，对抗物体 (三角形) 扭曲了对红车的感知，导致预测系统 (橙色线) 预测出碰撞，迫使受害者刹车。

先前攻击存在的问题

先前的研究，特别是单点攻击 (SP-Attack) ，试图通过优化单帧数据的物体放置来实现这一点。然而，这种方法面临三个主要障碍:

  1. 缺乏持久性 (Lack of Endurance) : 预测模型使用历史数据 (例如过去 2 秒) 。如果你只伪造当前帧的位置，模型的滤波器 (如卡尔曼滤波) 通常会平滑掉这种异常。攻击转瞬即逝。
  2. 低效性 (Inefficiency) : 寻找放置盒子的确切 3D 位置以引发特定的算法错误是一个巨大的搜索问题。
  3. 脆弱性 (Fragility) : 先前的攻击需要精确对齐。如果纸板箱尺寸稍有不对或旋转了 5 度，攻击就会失败。

OMP-Attack (优化驱动的多帧扰动) 框架正是为了解决这三个具体问题而设计的。

核心方法: OMP-Attack 框架

OMP-Attack 是一个精密的流程，可以自动化生成这些物理攻击。它分两个阶段运行: 确定要注入什么轨迹误差，以及确定在哪里放置物理物体来引发这些误差。

Figure 2. The optimization-driven multi-frame perturbation framework (OMP-Attack) methodology overview.

如图 2 所示，该框架包含三个主要创新点:

  1. 持久的多帧攻击 (Enduring Multi-frame Attack) : 生成跨越一系列时间步长的扰动，而不仅仅是一帧。
  2. 高效的位置优化 (Efficient Location Optimization) : 使用群智能算法寻找物体位置。
  3. 鲁棒的攻击策略 (Robust Attack Strategy) : 一种“精确攻击，模糊优化”的技术，用于处理物理变化。

让我们详细分解这些内容。

1. 持久的多帧攻击

主要目标是最小化受害者的原始规划与对抗性预测规划之间的平均轨迹距离 (ATD) 。简单来说，我们要让预测路径尽可能偏离正常路径。

数学目标是最小化 \(D_{avg}\):

Equation describing the minimization of Average Trajectory Distance.

这里，\(Y_t^v\) 是受害者的规划路径，\(Y_t^a\) 是对抗车辆的预测路径。

OMP-Attack 不仅仅攻击当前时刻 \(t\)。它在时间上回溯。它为 \(t, t-1, t-2\) 等帧生成一“链”扰动。通过向优化循环提供一段被破坏的状态历史，攻击确保轨迹预测模型在几秒钟内接收到一个连贯且具有误导性的故事。这防止了模型将攻击作为“噪声”过滤掉，从而使操纵具有持久性。

2. 高效的位置优化

一旦系统知道需要如何扰动车辆状态 (例如，“将感知的中心向左移动 0.5 米并旋转 2 度”) ，它必须找到放置纸板箱的物理位置以导致这种传感器误差。

物理物体的位置与深度学习感知网络的最终输出之间的关系是复杂且不可微的。你不能简单地使用梯度下降法。

研究人员将其表述为相似性搜索:

Equation for minimizing similarity between detected and target perturbations.

为了解决这个问题，他们采用了粒子群优化算法 (PSO) 。 想象一群虚拟蜜蜂在停放车辆周围的 3D 搜索空间中飞行。每只“蜜蜂”代表纸板箱的一个潜在位置。

  1. 蜜蜂检查它们的位置 (模拟 LiDAR 扫描) 。
  2. 它们测量产生的误差与步骤 1 中得出的目标误差有多接近。
  3. 它们与群体交流以找到最佳点并向其移动。

为了引导这群蜜蜂，作者设计了一个包含三部分的专用损失函数:

Equation for total loss function combining pose, heading, and shape.

  • \(\mathcal{L}_{pose}\) (位置) : 确保感知到的物体移动到正确的坐标。
  • \(\mathcal{L}_{heading}\) (航向) : 确保感知到的物体面向期望的 (错误) 方向。
  • \(\mathcal{L}_{shape}\) (轨迹形状) : 使用动态时间规整 (DTW) 确保生成轨迹的形状与目标攻击路径匹配。

这种多损失方法使得群体比暴力破解或单目标搜索能更快地收敛到有效位置。

3. 鲁棒的攻击策略: “精确攻击，模糊优化”

物理对抗攻击的最大挑战是现实世界。模拟中的纸板箱是完美的几何形状。而在现实中，它可能稍有旋转，或者受害车辆到达时偏离中心 0.5 米。

OMP-Attack 通过一种巧妙的解耦策略解决了这个问题:

  • 精确攻击 (Precise Attack) : 在计算目标扰动 (我们要引发的误差) 时，系统会对纸板箱进行精确建模 (确切尺寸、朝向、4 个角点) 。这确保了攻击目标是强有力的。
  • 模糊优化 (Vague Optimization) : 在搜索放置盒子的位置时，系统将盒子视为单一点 (中心点) 。它在搜索过程中忽略尺寸和朝向。

这为什么行得通？通过针对中心点进行优化，系统找到一个“甜点”位置，在该位置任何覆盖该点的物体都会触发误差。这意味着即使实际使用的盒子比预期的更大、更小或旋转角度不同，攻击也能成功。这大大降低了对攻击者精度的要求。

实验与结果

研究人员使用 nuScenes 数据集评估了 OMP-Attack，这是自动驾驶的标准基准。他们将该方法与最先进的 SP-Attack 和暴力搜索基线进行了比较。

1. 攻击有效性

下表总结了核心性能。关键指标包括:

  • ATD (平均轨迹距离) : 对攻击者来说越低越好 (表示预测更接近受害者的路径，导致冲突) 。注: 在本文目标生成的背景下，最小化 ATD 意味着创建碰撞路径。但在一般指标中，碰撞意味着轨迹间的距离变为零。
  • PRE (规划响应误差) : 越高越好。这衡量了受害 AV 必须偏离其原始计划的程度。
  • CR (碰撞率) : AV 预测发生碰撞的场景百分比。

Table 1. Average attack results compared with counterparts.

如表 1 所示，OMP-Attack 实现了 64% 的碰撞率 , 显著高于 SP-Attack 的 42%。它还迫使受害 AV 做出更大幅度的偏离 (PRE 为 2.393m vs 1.191m) 。“Varying Particle Numbers” (变化的粒子数量) 部分验证了群优化是有效的；使用更多粒子通常会导致更强的攻击。

2. 持久性: 时间的考验

OMP-Attack 的决定性特征是其维持欺骗的能力。研究人员在一段连续的时间步长 (\(t-3\) 到 \(t\)) 内测试了攻击。

Figure 3. The quantitative results of attack endurance.

在图 3 中，请看 PRE (中间图表) 和 CR (右侧图表) 。 橙色线 (OMP-Attack) 持续优于蓝色线 (SP-Attack) 。即使在碰撞点前 3 帧 (\(t-3\)) ，OMP-Attack 已经在产生显著误差，而 SP-Attack 通常需要车辆处于攻击的确切瞬间才能生效。

轨迹的可视化让这种差异更加明显:

Figure 4. Visualization of attack endurance results for OMP-Attack and SP-Attack.

在图 4 中，第一行 (a-d) 显示了 OMP-Attack。注意橙色虚线 (对抗预测) 。它持续切入受害者的路径 (绿线) ，在每一帧中都导致预测碰撞。 在第二行 (e-h) 中，SP-Attack 表现挣扎。在帧 (e) 和 (f) 中，预测轨迹几乎没有偏离，这意味着受害 AV 可能直到最后一秒才会做出反应。

3. 鲁棒性: 应对现实世界的不完美

研究人员测试了当物理条件不完美时攻击是否仍然有效。

物体尺寸: 纸板箱的大小重要吗？ Figure 5. The impact of varying object diameters on OMP-Attack. 图 5 显示，在直径从 0.1m 到 0.5m 的范围内，性能非常稳定。碰撞率 (CR) 线虽有波动但保持高位。这验证了“模糊优化”策略——重要的是中心点，而不是边缘。

物体朝向: 盒子的旋转角度重要吗？ Table 2. The impact of different object orientations at adversarial locations on OMP-Attack. 表 2 证实，旋转盒子 (0° 到 135°) 对攻击成功率的影响微乎其微。

偏差距离: 如果受害 AV 行驶时稍微偏左或偏右于目标点会怎样？ Figure 6. The impact of the deviation distance between the victim AV and attack point on attack performance. 这对于现实应用来说可能是最关键的结果。图 6 显示了随着受害者偏离 (x 轴) ，ATD (y 轴) 的变化。理想情况下，攻击者希望 ATD 保持在低位 (表示预测的碰撞路径) 。 橙色线 (OMP-Attack) 即使在车辆偏离高达 1 米的情况下仍保持平坦且低位。蓝色线 (SP-Attack) 则立即飙升——这意味着如果受害者仅偏离 20 厘米，SP-Attack 就会完全失败。

4. 迁移性 (黑盒攻击)

最后，这种攻击能否在它没见过的模型上奏效？研究人员使用一个系统 (白盒) 生成对抗位置，并在一个完全不同的模型 Agentformer (黑盒) 上进行了测试。

Table 3. The average attack results of white-box attack and black-box attack.

表 3 显示，虽然在黑盒设置下性能略有下降 (如预期的那样) ，但 OMP-Attack 仍保持了显著的影响力，导致 1.7 米的偏离 (PRE) ，相比之下 SP-Attack 仅为 1.4 米。这表明该攻击利用了 LiDAR 感知中的根本漏洞，而不是过度拟合特定的模型。

结论

OMP-Attack 代表了针对自动驾驶汽车的物理对抗攻击复杂程度的阶跃式变化。通过从单点、精确攻击转向多帧、鲁棒的优化 , 研究人员证明了自动驾驶汽车比以前认为的更容易受到“视错觉”的影响。

其影响是深远的:

  1. 安全关键性: 目前的轨迹预测模块严重依赖历史数据。如果该历史数据可以被持续欺骗，预测就会失败。
  2. 低门槛: 这种攻击不需要入侵汽车的计算机。它只需要在路边放置廉价的物理物体。
  3. 防御的需求: 这项研究凸显了对“鲁棒感知”的迫切需求——即系统能够在不合逻辑的传感器数据 (例如，由于纸板箱的存在，一辆停着的车看起来突然横向漂移) 到达预测阶段之前，识别并忽略它们。

随着自动驾驶系统变得越来越普遍，攻击者与防御者之间的猫鼠游戏将继续下去。像 OMP-Attack 这样的工作对于在这些漏洞在开放道路上被利用之前发现它们至关重要。