打造防弹 AI: Block Reflector Orthogonal 层与 Logit Annealing

深度学习模型无疑是强大的，在从医疗诊断到自动驾驶等各类任务中都取得了超越人类的表现。然而，它们拥有一个惊人的弱点: 对抗性攻击 (Adversarial attacks) 。 恶意攻击者可以在图像中添加极其微小、人眼无法察觉的噪声，就能导致最先进的 AI 将停车标志误分类为限速标志。

为了应对这一问题，研究人员开发了各种“防御措施”。大多数是经验性的——它们往往在更聪明的攻击者出现之前有效。然而，防御的黄金标准是可验证鲁棒性 (Certified Robustness) 。 一个具有可验证鲁棒性的模型带有数学上的保证: 对于给定的输入，只要扰动在特定范围 (即“半径”) 内，模型的预测结果就不会改变。

在最近于 2025 年国际机器学习会议 (ICML) 上发表的一篇论文中，研究人员介绍了 BRONet , 这是一种突破可验证鲁棒性界限的新架构。他们通过两项关键创新实现了这一目标: Block Reflector Orthogonal (BRO) 层 , 一种构建鲁棒网络的数学上优雅且计算高效的方法；以及 Logit Annealing (LA) 损失函数 , 一种更智能的训练方法。

本文将拆解这篇论文，解释这些组件如何协同工作，以创建高效且具有可验证鲁棒性的神经网络。

模型在 CIFAR-10 上性能的可视化。圆圈大小表示模型大小。图表显示，与 SOC 和 CPL 等先前方法相比，BRONet 相对于其大小实现了较高的可验证鲁棒性。

图 1: 可验证鲁棒性方法概览。与现有的基线相比，文中提出的 BRONet (红色气泡) 在清洁准确率 (Clean Accuracy) 和可验证鲁棒准确率 (Certified Robust Accuracy) 之间取得了更优的权衡。

1. 挑战: 什么是 Lipschitz 神经网络？

要理解为什么 BRONet 如此重要，我们必须首先了解用于保证鲁棒性的机制: Lipschitz 常数 (Lipschitz constant) 。

简单来说，如果一个函数的输出在输入发生变化时不会剧烈波动，那么它就是 Lipschitz 连续的。如果一个神经网络 \(f\) 的 Lipschitz 常数为 \(L\)，这意味着对于任意两个输入 \(x_1\) 和 \(x_2\)，它们输出之间的距离被限制在输入之间距离的 \(L\) 倍以内。

Lipschitz 常数 L 的定义。

这对安全性为什么很重要？如果我们知道 Lipschitz 常数 \(L\)，我们就可以精确计算出攻击者有多少“操作空间”。如果网络是 1-Lipschitz 的 (意味着 \(L=1\)) ，那么输出 Logits 的变化幅度永远不会大于添加到输入中的噪声幅度。这使我们能够计算出一个“可验证半径”——即图像周围的一个安全区域，在这个区域内我们在数学上可以确定预测不会反转。

然而，计算深度神经网络的确切 Lipschitz 常数是一个 NP-难 (NP-hard) 问题。为了解决这个问题，研究人员利用了组合性质 (composition property) :

Lipschitz 函数的组合性质。总 Lipschitz 常数小于或等于各层常数的乘积。

如果我们确保网络中的每一层都是 1-Lipschitz 的 (即正交的) ，那么整个网络就是 1-Lipschitz 的。

现有方法的问题

理论是完善的，但在工程实现上却很困难。构建一个每一层都完美正交 (保持输入范数) 的神经网络在计算上非常昂贵。

之前最先进的方法，如 SOC (Skew-Orthogonal Convolution) 和 LOT (Layer-wise Orthogonal Training) , 都依赖于迭代算法。为了使一层正交，它们在每次前向传播时都要运行一个循环 (如泰勒展开或牛顿法) 。这使得训练速度变慢，消耗大量内存，有时还会导致数值不稳定，使得层实际上并非正交。

我们需要一种既快速、内存效率高，又在数学上精确的构建正交层的方法。 BRO 层由此登场。

2. 解决方案第一部分: BRO 层

Block Reflector Orthogonal (BRO) 层旨在解决效率瓶颈。它不使用迭代近似，而是基于 Householder 反射 (特别是块反射器) 使用直接参数化，这是线性代数中用于 QR 分解的一个概念。

BRO 背后的数学原理

核心思想是从一个较小的、无约束的矩阵 \(V\) 构建一个正交矩阵 \(W\)。研究人员提出了一种特定的参数化方法:

使用低秩矩阵 V 对 BRO 矩阵 W 进行参数化。

等等，让我们看一下展开形式以更好地理解其结构:

显示正交性的 BRO 参数化详细展开。

在这里，\(W\) 是层的权重矩阵。\(V\) 是一个具有低秩 (列数少于行数) 的可训练参数矩阵。

  1. 正交性: 如上述推导所示，\(W W^T = I\)。这证明了矩阵是完美正交的。
  2. 效率: 因为 \(V\) 是“低秩”的 (比 \(W\) 小) ，矩阵运算的计算成本更低。
  3. 无迭代: 与 SOC 或 LOT 不同 (它们循环直到“足够接近”正交) ，BRO 公式一次性就能生成一个正交矩阵。

通过傅里叶域进行卷积

上面的数学原理适用于标准矩阵乘法 (全连接层) 。但计算机视觉依赖于 卷积神经网络 (CNNs) 。 使卷积操作正交是很棘手的。

研究人员利用了 卷积定理 (Convolution Theorem) : 空间域中的卷积等同于频域中的逐点乘法。

通过使用快速傅里叶变换 (FFT) ，他们将输入图像和卷积滤波器转换到频域。在这个域中，卷积操作变成了一系列矩阵乘法。他们对这些矩阵应用 BRO 参数化，然后使用逆 FFT 将结果转换回空间域。

BRO 卷积层的流程。它涉及 FFT、BRO 参数化和逆 FFT。

这个过程确保了卷积是 1-Lipschitz 的 (保持距离) ，同时比计算矩阵指数 (SOC 中使用) 或迭代平方根 (LOT 中使用) 要快得多。

处理维度

严格的正交矩阵必须是方阵 (输入大小等于输出大小) 。然而，神经网络经常改变通道维度 (例如，从 64 个滤波器变为 128 个) 。

BRO 层优雅地处理了这个问题:

  • 扩展 (输入 < 输出) : 该层保持范数。
  • 缩减 (输入 > 输出) : 该层是不扩张的 (1-Lipschitz) ，确保即使信息被压缩，鲁棒性保证仍然成立。

针对不同输入和输出通道配置的 BRO 卷积可视化。

效率提升

它快了多少？对比非常鲜明。随着层数的增加，像 LOT 这样的迭代方法的运行时间呈爆炸式增长。BRO 的增长则平缓得多，因为它避免了内部循环。

运行时间和内存使用情况的比较。BRO (红线) 比 LOT (蓝线) 明显更快且占用内存更少，在速度上与 SOC (绿线) 相当，但更稳定。

此外，观察具体的配置，我们发现 LOT 在训练期间消耗的内存 (GB) 要多得多，这限制了我们可以构建的网络的深度。BRO 保持了高内存效率，允许构建更深、表达能力更强的架构。

不同设置下的详细运行时间和内存消耗图表。LOT 消耗大量内存；BRO 保持高效。

3. 解决方案第二部分: Logit Annealing (LA) 损失函数

构建完美的正交网络解决了架构问题，但我们仍然需要训练它。这就引出了论文的第二个主要贡献: 损失函数。

Lipschitz 网络的局限性

标准神经网络可以极其复杂。而 Lipschitz 网络根据定义是受限的。它们是“僵硬”的。它们不能随意扭曲和变形决策边界来完美拟合每一个数据点。

作者使用 拉德马赫复杂度 (Rademacher Complexity) 证明了一个理论观点: Lipschitz 网络的容量是有限的。

显示拉德马赫复杂度以上界为 Lipschitz 常数 L 的不等式。

因为复杂度受限于 \(L\)，我们无法强迫模型拥有任意大的“间隔 (margins) ” (即正确类别的得分与第二名之间的差距) 。

现有训练方法的问题

以前的方法使用 证书正则化 (Certificate Regularization, CR) 。 如果间隔很小，这种方法会在损失函数中增加惩罚，激进地推动模型为每张图像增加安全半径。

作者指出了 CR 的关键问题:

  1. 梯度不连续: 导数会发生突变。
  2. 梯度主导: 随着模型变得自信，梯度会向无穷大爆炸，导致训练完全集中在简单的样本上，而不是学习新的样本。
  3. 不可能的目标: 由于上述证明的容量有限，CR 试图强迫模型做它在数学上无法对所有数据点都做到的事情。

CR 项的损失曲面分析显示出突然的激活和失活，导致不稳定性。

Logit Annealing 登场

为了解决这个问题，研究人员提出了 Logit Annealing (LA) 损失函数 。

Logit Annealing (LA) 损失公式。

其直觉非常简单而巧妙: 如果模型在一个数据点上已经表现得“足够好”，就别再纠结它了。

项 \((1 - p_t)^\beta\) 充当退火因子。

  • 当真实类别的概率 \(p_t\) 很低 (模型错了) 时，损失很高，梯度很强。
  • 当 \(p_t\) 接近 1 (模型自信且正确) 时，该因子衰减为零。

这防止了模型浪费其有限的容量试图将简单图像的间隔推向无穷大。相反，它将这些容量重新分配给更难的边界情况图像。

损失函数及其导数的比较。LA 损失 (红色) 随着概率接近 1 而退火梯度，这与爆炸的 CR 不同。

如上所示，LA 损失的梯度 (红色虚线) 随着模型的成功平滑地下降到零。相反，CR 损失 (蓝色) 会产生尖峰，从而破坏训练的稳定性。

结果是间隔分布更合理。模型学会了为大多数点提供适当的安全半径，而不是过度拟合少数点。

可验证准确率与半径的关系图。LA 损失 (红色) 在各种半径下均比交叉熵 (绿色) 或 CE+CR (蓝色) 实现了更高的准确率。

4. 介绍 BRONet

结合 BRO 层 和 LA 损失 , 作者构建了 BRONet 。

该架构遵循类似 ResNet 的结构，但用 BRO 层替换了卷积层。它使用 “MaxMin” 激活函数 (比 ReLU 更好地保持范数) 和精心的重参数化，以确保整个管道保持 1-Lipschitz。

BRONet 的架构，利用 BRO 卷积块、MaxMin 激活和 Lipschitz 正则化。

关键组件包括:

  • Stem (主干) : 标准卷积 (经过 Lipschitz 正则化) 。
  • Backbone (骨干) : BRO 卷积块的堆叠。
  • Neck (颈部) : 下采样同时保持 Lipschitz 约束。
  • Head (头部) : 通向最终分类的正交全连接层。

5. 实验结果

那么，它有效吗？结果给出了肯定的答案。

最先进的鲁棒性

在 CIFAR-10 和 CIFAR-100 等基准测试中，BRONet 始终优于现有的 1-Lipschitz 网络 (如 Cayley、SOC 和 LOT) 以及其他可验证防御方法。

清洁准确率和可验证准确率的表格比较。与基线相比，BRONet 在各种 epsilon 预算下均实现了更高的准确率。

请注意表 1，BRONet (底部几行) 在各种扰动大小 (\(\epsilon = 36/255\) 等) 下，与其参数量相似甚至更大的模型相比，都实现了更高的 可验证准确率 (Certified Accuracy) 。

扩展到 ImageNet

可验证鲁棒性的最大障碍之一是扩展到像 ImageNet 这样的大型数据集。许多以前的方法要么内存溢出，要么训练时间太长。

得益于 BRO 层的高效性，BRONet 可以有效扩展。当结合扩散生成数据增强 (一种提高鲁棒性的现代技术) 时，BRONet 树立了新的基准。

ImageNet 上的结果显示，BRONet + LA 比基线有显著改进。

与 LOT 的稳定性对比

论文中关于先前方法最令人震惊的发现之一是 LOT 的不稳定性。作者发现，依赖牛顿法迭代来近似正交性的 LOT，在使用标准初始化 (如 Kaiming 初始化) 时，往往无法收敛到真正的正交矩阵。

条件数图。右图显示 BRO 中的训练参数保持良好的条件数，而 LOT 难以收敛到 1。

正交矩阵的“条件数”应该是 1。如图所示，BRO (设计上就是精确的) 没有遭受迭代方法所面临的收敛问题。

6. 结论与关键要点

BRONet 论文代表了可验证鲁棒性领域的成熟。它从通过昂贵的迭代算法“暴力破解”约束，转向了优雅、精确的数学构造。

给学生的关键要点:

  1. 效率解锁深度: 如果你的层消耗太多的内存或时间，你就无法构建深度、强大的鲁棒网络。 BRO 层的低秩、无迭代设计解决了这个问题。
  2. 容量很重要: 约束 (如 1-Lipschitz) 限制了模型可以学习的内容。承认这一局限性至关重要。
  3. 聪明的损失函数: Logit Annealing 损失教会我们，“更难”并不总是更好。通过放宽对简单样本的惩罚，我们允许受限模型将其有限的能力集中在最需要的地方。

随着 AI 系统被部署在安全攸关的环境中——从自动驾驶汽车到医学成像——像 BRONet 提供的这种保证将从学术好奇心转变为绝对的必要性。