机器学习模型正越来越多地部署在高风险环境中——从诊断疾病到驾驶自动驾驶汽车。在这些场景中，仅有“准确性”是不够的，我们需要安全性。我们需要确信模型不会犯灾难性的错误。

为了解决这个问题，该领域聚焦于 一致性预测 (Conformal Prediction) , 这是一个强大的框架，它包裹在“黑盒”模型周围以提供统计保证。例如，与其预测“猫”，一致性预测器输出一个集合 {"猫", "狗"}，并保证真实标签有 95% 的概率包含在该集合中。

然而，标准的一致性预测有一个局限性: 它基于 频率学派统计 (frequentist statistics) 。 它的保证是“边缘性的” (marginal)，这意味着它们在许多可能的数据集上平均成立，但不一定针对你手头的特定校准数据成立。它将世界视为具有固定的、未知的状态，这阻碍了我们轻松地通过它结合先验知识或评估潜在风险的分布。

在论文 “Conformal Prediction as Bayesian Quadrature” 中，研究人员 Jake C. Snell 和 Thomas L. Griffiths 提出了一个令人着迷的视角转换。通过将一致性预测重新构建为 贝叶斯正交 (Bayesian Quadrature) 问题——本质上是将风险计算视为一个积分问题——他们开发了一种能提供可解释的、数据条件化保证的方法。

在这篇文章中，我们将剖析这种方法是如何工作的，它如何连接两个看似不同的数学领域，以及为何它能带来更安全的机器学习部署。

1. “平均”保证的问题

在深入解决方案之前，让我们先建立基线。像 分裂一致性预测 (Split Conformal Prediction) 或 一致性风险控制 (Conformal Risk Control) 这样的标准方法依赖于一个校准集——一个我们知道真实答案的小型数据集——来调整模型。

目标是选择一个阈值参数 \(\lambda\)，使得风险 (期望损失) 低于目标水平 \(\alpha\)。

Conformal Prediction Guarantee

上述公式是标准保证: 真实值 \(Y\) 落在预测集 \(C(X)\) 之外的概率应小于 \(\alpha\)。

虽然在数学上是合理的，但这些方法侧重于控制 在许多未观测数据集上平均的期望损失 。 它们不会根据你 实际 观测到的数据给出风险的概率分布。

想象一位医生在使用 AI 诊断工具。频率学派的保证就像是说: “如果我在 1,000 组不同的患者身上使用这个工具，平均错误率将是 5%。” 而贝叶斯方法则提出了一个更直接的问题: “考虑到我们刚刚看到的特定校准数据，下一位患者的错误率可能的范围是多少？”

这篇论文的作者认为，通过采用贝叶斯视角，我们可以刻画结果的完整分布，而不仅仅是一个点估计。

2. 背景: 基石

要理解新方法，我们需要了解它所依赖的两大支柱: 一致性风险控制和贝叶斯正交。

一致性风险控制 (Conformal Risk Control, CRC)

CRC 是一致性预测的推广。它不仅处理“正确”或“错误”，还能处理连续的损失函数。假设我们有一个损失函数 \(L(\lambda)\)，随着阈值 \(\lambda\) 的放宽而减小。

CRC 的目标是找到一个 \(\hat{\lambda}\)，使得期望损失得到控制:

Conformal Risk Control Guarantee

为了做到这一点，标准 CRC 计算校准集上的经验风险 (平均损失) ，并通过一个小的缓冲项进行调整:

CRC Lambda Calculation

这种方法在平均意义上表现良好，但正如我们在实验中将看到的，它在特定实例中可能是“危险的”，因为它针对的是均值，而不是对分布的尾部进行界定。

贝叶斯正交 (Bayesian Quadrature)

这是论文引入转折点的地方。 贝叶斯正交 是一种来自数值分析的技术，用于在函数计算昂贵或困难时估计积分的值。

其核心思想是:

  1. 在函数 \(f\) 上放置一个 先验 概率分布。
  2. 在几个点 \(x_1, \dots, x_n\) 上评估函数。
  3. 计算函数的 后验 分布。
  4. 基于此后验估计积分 \(\int f(x) dx\)。

Bayesian Quadrature Integral

通常，我们知道评估函数的输入点 \(x_i\)。然而，在一致性预测的背景下，“评估点”是我们数据的分位数水平，这是我们 无法 直接获知的。这就是作者着手解决的难题。

3. 核心方法: 预测即积分

研究人员提出了一个新的框架，将寻找合适的风险阈值视为一个决策理论问题。

风险定义

我们将风险 \(R(\theta, \lambda)\) 定义为给定自然状态 \(\theta\) 和决策规则 \(\lambda\) 下的期望损失。

Risk Definition

在标准一致性预测中，我们试图界定最大风险 \(\bar{R}(\lambda)\)。在贝叶斯视角下，我们关注 积分风险 (integrated risk)——即在我们对自然状态的信念 (先验) 上平均的风险。有趣的是，作者表明界定最坏情况下的积分风险等同于界定最大风险。

将风险转化为分位数

这是一个关键的洞察: 期望损失 (风险) 可以通过对损失的 分位数函数 进行积分来计算。

设 \(K(t)\) 为损失分布的分位数函数。期望损失仅仅是该曲线下的面积: \(\int_0^1 K(t) dt\)。

这看起来完全像一个正交问题！我们要估计 \(K(t)\) 下的面积。我们的“观测值”是我们在校准集中看到的损失 \(\ell_1, \dots, \ell_n\)。

然而，这里有个陷阱。在标准正交中，如果你观测到 \(f(x) = y\)，你知道 \(x\) 和 \(y\)。在这里，我们知道损失值 \(\ell_i\) (即 \(y\) 值) ，但我们不知道它们确切对应哪个分位数 \(t_i\) (即 \(x\) 值) 。我们只知道它们是来自分布的样本。

贝叶斯正交框架

下图展示了标准贝叶斯正交与这种新方法之间的区别。

Overview of the Approach

  • 左图: 标准贝叶斯正交。我们知道输入 (x 轴) 和输出 (y 轴) ，并试图推断曲线。
  • 中图: 提出的方法。我们观测到损失 (y 轴) ，但它们在 x 轴上的位置 (分位数水平) 是随机的。
  • 右图: 这导致了期望损失的后验分布。

解决未知分位数问题

既然我们不知道观测到的损失对应的确切 \(t\) 值 (分位数水平) ，我们该如何进行？

作者利用了统计预测分析中的一个经典结论: 排序后的分位数之间的间距遵循狄利克雷分布 (Dirichlet distribution)。

如果我们将观测到的损失排序 \(\ell_{(1)} \le \dots \le \ell_{(n)}\)，那么与这些损失相关的累积概率之间的“间隙”分布如下:

Dirichlet Distribution

这里，\(U_i\) 代表连续分位数之间的随机间距。\(L^+\) 是一个随机变量，代表 期望损失的上界 。

作者并没有使用需要对函数 \(K\) 指定特定先验的复杂积分，而是推导出了一个“无分布 (distribution-free)”的界限。他们证明后验风险被这个随机变量 \(L^+\) 随机占优 (stochastically dominated)，而 \(L^+\) 仅仅是排序后损失的加权和，其中的权重是从狄利克雷分布中抽取的。

为何这很重要: 视觉对比

要理解为什么这比标准方法更好，请看下面的对比。

Visual Comparison with CRC

  • 左图 (标准 CRC) : CRC 有效地使用未观测分位数的期望 (均值) 来估计风险。在所示示例中，这导致估计的期望损失为 0.45。然而，真实 的期望损失可能是 0.50。CRC 可能会低估风险，因为它关注的是平均情况。
  • 右图 (贝叶斯方法) : 这种方法考虑了可能分位数的 完整分布 (狄利克雷分布) 。它创建了一个期望损失的分布。通过观察这个分布的尾部 (例如，第 95 百分位) ，我们可以更有信心地确保没有低估风险。

算法

实际的算法出奇地简单。我们不需要执行复杂的贝叶斯推理或指定损失函数 \(K\) 的先验。

  1. 从校准集中收集损失 \(\ell_1, \dots, \ell_n\)。
  2. 对它们进行排序得到顺序统计量 \(\ell_{(i)}\)。
  3. 通过从狄利克雷分布中采样权重 \(U\) 来模拟随机变量 \(L^+\) (这在计算上很容易) 。
  4. 计算 \(L^+ = \sum U_i \ell_{(i)}\)。
  5. 这给你提供了可能风险的直方图 (分布) 。
  6. 选择一个阈值 \(\lambda\)，使得该分布的很大一部分 (例如 95%) 低于你的安全限制 \(\alpha\)。

这个决策规则被正式定义为:

HPD Decision Rule

该规则基于 最高后验密度 (Highest Posterior Density, HPD) 区间选择 \(\lambda\)。它确保期望损失以概率 \(\beta\) (例如 0.95) 得到控制。

4. 实验与结果

这实际上比标准方法效果更好吗？作者在合成数据和 MS-COCO 图像数据集上，将他们的方法与一致性风险控制 (CRC) 和风险控制预测集 (RCPS) 进行了对比测试。

合成二项分布数据

他们首先模拟了一个损失遵循二项分布的场景。他们运行了 10,000 次实验，看看每种方法“失败” (即真实风险超过目标 \(\alpha = 0.4\)) 的频率。

Figure 3: Histograms of Risk

上面的直方图清楚地说明了情况:

  • 左图 (CRC): 风险分布以目标为中心，但有很大一部分 (粉色区域) 溢出到了“失败”区。事实上，CRC 在 21.20% 的试验中超过了风险阈值。
  • 右图 (Bayesian HPD): 贝叶斯方法 (使用 95% 置信水平) 将分布向左移动。它仅在 0.03% 的试验中超过了风险阈值。

下表总结了这些结果:

Table 1 Results

CRC 在 平均 (边缘) 意义上是有效的，但对于任何特定的部署，它有很高的几率违反安全约束。贝叶斯方法 (Ours) 有效地消除了这些违规情况。

MS-COCO 物体检测

作者还将此方法应用于真实世界的任务: MS-COCO 数据集上的多标签分类。他们的目标是控制假阴性率 (False Negative Rate)。

Table 3 Results

在这里，我们看到了权衡。

  • CRC 再次具有很高的失败率 (45.05%)。
  • RCPS (另一个保守基线) 失败率为 0%，但产生了更大的预测集 (3.57)，使得模型的实用性降低。
  • Ours 保持了较低的失败率 (5.43%，接近 5% 的目标)，同时保持了比 RCPS 更小、更有用的预测集 (3.04)。

这表明贝叶斯方法实现了一种“恰到好处”的平衡 (Goldilocks balance): 它比 CRC 更安全，但比其他保守界限更高效 (集合更小) 。

可视化后验风险

这个框架的主要好处之一是可解释性。我们可以直观地看到不同阈值下风险上界 (\(L^+\)) 的分布。

Posterior Density of Risk

在上图中，随着阈值 \(\lambda\) 的增加 (0.7 到 0.9) ，风险分布向右移动。这种视觉反馈为从业者提供了比单一的“是/否”输出更丰富的模型安全概况理解。

5. 结论与启示

论文 “Conformal Prediction as Bayesian Quadrature” 弥合了一致性预测的僵化、频率学派保证与贝叶斯统计的灵活、概率推理之间的差距。

通过将校准过程视为未知分位数上的积分问题，作者推导出的方法:

  1. 恢复现有方法: 他们表明，如果你取贝叶斯变量的 期望，你会得到标准的一致性风险控制公式。
  2. 提供更安全的保证: 通过使用完整的后验分布而不仅仅是均值，该方法可以防止校准数据的“坏抽样”。
  3. 保持无分布假设 (Distribution-free): 值得注意的是，这种贝叶斯方法不需要对数据分布进行复杂的先验假设。它依赖于顺序统计量的普遍属性 (狄利克雷分布) 。

对于学生和从业者来说，这项工作凸显了透过新视角审视旧问题的价值。通过引入贝叶斯正交，我们获得了一种工具，使“黑盒”AI 模型不仅更准确，而且透明地更安全。