引言: 一次点击背后的隐患

想象一位科学家正在进行一项认知实验。参与者凝视着屏幕，做出瞬间的决定。实验收集了数百个数据点——反应时与选择。但如果某个参与者突然分心？或者手指一滑，异常快速地按下按钮？这个单独的异常数据点——一个离群值——可能扭曲统计分析，影响参数估计，甚至导致完全错误的结论。

在心理学和认知科学中，这是一个长期存在的难题，因为人类数据天然嘈杂。研究者通常依赖于复杂的计算模型，如漂移扩散模型 (Drift Diffusion Model, DDM) ，该模型解释了决策如何随时间展开。拟合此类模型计算成本高昂，但新兴的名为摊销贝叶斯推断 (Amortized Bayesian Inference, ABI) 的人工智能技术已经革新了这一过程，使推断几乎可以瞬间完成。

然而，问题在于: 这些强大的方法可能比传统技术对离群值更加敏感。一个坏数据点就能让 ABI 核心的神经网络“困惑”，从而产生不可靠的结果。我们是否必须在缓慢但稳健的传统方法与快速但脆弱的 AI 之间做出选择？

近期的一项研究——《测试并提升认知模型中摊销贝叶斯推断的鲁棒性》——正面解决了这个问题。作者提出了一个优雅且出人意料地简单的方案: 在混乱、不完美的数据上训练 AI，让它学会抵御离群值的影响。结果是一个具备韧性、近乎“防弹”的推断引擎，能在真实世界的混乱数据中稳定运行。

背景: 快速推断与心智模型

在探讨解决方案之前，让我们拆解两个核心概念:** 摊销贝叶斯推断与漂移扩散模型**。

摊销贝叶斯推断 (ABI): “一次投入，永久使用”的原则

贝叶斯推断是现代统计学的基石。它能在新数据出现时更新模型参数的信念，生成带有不确定性的后验分布。挑战在于，计算这个后验分布可能极为耗时——对于单一数据集，采用马尔可夫链蒙特卡洛 (MCMC) 等方法可能需要数小时甚至数天。

摊销贝叶斯推断 (ABI) 提供了一个巧妙的解决思路。它不再每次都重新计算，而是通过预先训练一个深度神经网络来“摊销”计算成本。如下图所示，这一流程分为两个阶段:

  1. 训练阶段 (离线) :
    使用模型模拟器 (如 DDM) 生成合成数据。每个模拟数据集都有已知的真实参数。训练神经网络以学习数据与后验分布间的映射关系。网络由两个部分组成: 一个摘要网络，将数据压缩为信息丰富的特征；一个推断网络，根据这些特征输出近似后验分布。训练目标是最小化预测后验分布与真实后验分布之间的差异 (以库尔贝克-莱布勒散度为度量) 。

  2. 推断阶段 (在线) :
    一旦训练完成，繁重的计算已完成。将真实实验数据输入训练好的网络，即可瞬时得到后验分布——无需耗时采样。

摊销贝叶斯推断 (ABI) 的基本工作流程

图 1: ABI 的工作流程。在训练阶段，使用模拟数据训练摘要网络与推断网络。完成训练后，这些网络可为新观测数据提供即时的后验估计。

该论文采用标准化流 (normalizing flows) 作为推断网络架构——一种在复杂后验分布与简单潜在高斯之间学习可逆变换的框架。通过采样潜在空间并进行反变换，可以高效生成后验样本。

漂移扩散模型 (DDM): 决策如何随时间展开

漂移扩散模型是认知心理学中的基础模型，用于描述二选一决策的生成过程，例如判断移动的点是向左还是向右漂移，或判定某个词是真实的还是无意义的。

漂移扩散模型 (DDM) 的图示

图 2: 证据随时间累积，直到触及上或下决策边界，从而触发响应。模型参数决定了决策的速度与质量。

DDM 的参数对应不同的认知成分:

  • 漂移率 (v): 证据积累的速度与方向。漂移率越高，决策越快、越坚定。
  • 边界分离 (a): 决策边界的距离——反映谨慎还是冲动的决策风格。
  • 起始点 (z): 初始时对某一决策结果的偏向。
  • 非决策时间 (Ter): 花在感知和运动过程上的时间，而非决策本身。

关键在于，Ter 必须短于最快的反应时。如果出现一个异常快速的离群值 (如 0.15 秒) ，它会迫使 Ter 不合理地下降，继而扭曲其他参数。这种敏感性使 DDM 成为测试鲁棒性的理想案例。

标准 ABI 的脆弱性: 系统性压力测试

作者提出两个问题:

  1. 在干净数据上，ABI 能否准确估计 DDM 参数？
  2. 当引入离群值时，它的性能会受多大影响？

ABI 在干净数据上表现优异

研究者使用基于 BayesFlow 包的 ABI 设置，并与两种传统方法进行了比较: 黄金标准 MCMC (通过 JAGS) 及解析的 EZ-diffusion 近似。他们模拟了 500 个干净的数据集，用每种方法拟合 DDM 参数。

DDM 的参数恢复图。BayesFlow ABI 方法 (中间行)

图 3: ABI 方法 (中间行) 准确恢复了真实参数，与真实值高度吻合。表现堪比甚至优于 JAGS (底行) 和 EZ-diffusion (顶行) 。

结果显示，ABI 能高度准确地恢复参数，且通常比 MCMC 与 EZ-diffusion 更优。

进一步地，研究者探究了 ABI 摘要网络学习到的内容。EZ-diffusion 使用人工挑选的摘要统计量——平均反应时 (MRT) 、方差 (VRT) 与准确率 (Pc) ；ABI 神经网络则自动学习数据摘要。二者是否相似？研究者使用 ABI 的摘要训练随机森林以预测 EZ 统计量，发现二者几乎完全相关。

ABI 网络 (SB) 学到的摘要统计量

图 4: ABI 学到的摘要统计量与 EZ-diffusion 的解析统计量高度相关，表明网络捕捉到了有意义的统计结构。

诊断脆弱性: 经验影响与崩溃点

为量化离群值敏感度，作者借鉴了鲁棒统计学中的两个指标:

  1. 经验影响函数 (EIF): 衡量单个离群值对估计的影响。鲁棒估计器的影响曲线有界，非鲁棒估计器则无限增长。
  2. 崩溃点 (BP): 导致估计完全失败的最小污染数据比例。中位数的 BP 为 50%，均值的 BP 为 0%。

一个简单案例: 估计正态分布的均值

简单测试表明，标准 ABI 估计器的影响曲线无界，崩溃点接近零——与脆弱的样本均值相同。

用于估计正态分布均值的 ABI 估计器的 EIF 和 BP 图。

图 5: 线性且无界的影响函数 (左) 以及零点处的崩溃点 (右) ，表明单个离群值就能让标准 ABI 失效。

ABI 遭遇离群攻击: DDM 的崩溃

接下来，作者在包含单个异常反应时的 DDM 数据集上测试 ABI。结果极具冲击性。

标准 ABI 估计器对 DDM 参数的 EIF 和 BP 图。

图 7: 较短的离群值 (低于 0.5 秒) 会显著影响非决策时间 (Ter) 、漂移率 (v) 与边界分离 (a) ，表现出极端敏感性。即使少量离群值也能令估计偏离至荒谬的数值。

潜在空间的可视化验证了这种崩溃: 干净数据对应良好的高斯结构，受污染的数据则扭曲变形，显现出网络的“混乱”。

潜在空间检查。

图 8: 干净数据集映射到球形高斯潜在空间 (左) ，含单离群值的数据集则扭曲了潜在结构 (右) ，显示 ABI 未学习此类模式。

解决方案: 以毒攻毒——在混乱数据上训练

问题的根源是 ABI 仅从干净的模拟数据中学习。解决方法是: 在训练时纳入污染数据，使网络学会处理异常值。

以小概率 (如 π = 0.1) ，模拟数据点将被来自污染分布的样本替换——这是一种真实离群值生成器。该简单数据增强方法可教会网络识别并降低极端观测值的影响。

简单模型的鲁棒化

作者重新训练了用于估计正态均值的 ABI 估计器，在训练中引入了 10% 的t分布污染数据 (t分布的尾部比正态更重) 。通过改变自由度 (ν) 调整尾部厚度: ν = 1 (柯西分布) 尾部最重。

鲁棒 ABI 估计器的 EIF 和 BP 图。

图 10: 使用重尾污染数据训练的鲁棒估计器表现出有界的影响函数与更高的崩溃点，柯西 (t₁) 分布效果尤佳。

令人着迷的是，柯西训练的鲁棒估计器的影响函数几乎与Tukey 双权函数——经典鲁棒估计器——的理论曲线完全一致，且未经过显式编程。

使用柯西噪声训练的鲁棒估计器的 EIF。

图 11: 使用柯西分布训练的 ABI 估计器的 EIF (橙红色) 与 Tukey 双权影响函数 (蓝色) 高度一致，表明神经网络已从数据中自主学习到鲁棒性原理。

DDM 的鲁棒化

采用相同思路，研究团队针对 DDM 训练了四个鲁棒 ABI 估计器，污染分布包括均匀分布与折叠t分布 (t分布取绝对值，因为反应时不能为负) 。结果表明，折叠柯西分布 (folded-t₁) 效果最佳。

鲁棒 DDM 估计器的 EIF 和 BP 图。

图 14: 与标准 ABI (见图 7) 相比，鲁棒估计器展示出有界的影响函数与显著更高的崩溃点。极端反应时不再扰乱推断结果。

在重尾污染数据上训练的鲁棒 ABI 网络能保持准确的特性，同时自动降低异常反应时的权重。简单引入离群模拟，便令脆弱化为稳健。

保护的代价: 鲁棒性与效率的权衡

任何鲁棒方法都需付出代价。鲁棒性提升会增强抵抗离群值的能力，但通常牺牲一定的效率——当数据完全干净时，估计结果会略显噪声。

作者量化了这种鲁棒性的代价。在干净数据集上:

  • DDM 的鲁棒 ABI 估计器比标准版本准确度低 10–25%。
  • 后验方差增大约 30–40%，反映出更高的不确定性。

这一适度的代价与传统鲁棒 M 估计器一致——面对真实世界不可避免的误差，这完全值得。

真实世界的验证: 反应时实验

为展示实际应用，作者重新分析了 Ratcliff & Rouder (1998) 的经典数据集。参与者在**速度 (快速回应) 与准确性 **(仔细回应) 两种条件下判断视觉阵列是“亮”还是“暗”。DDM 预测，在速度条件下边界分离 (a) 应更小。

他们比较了四种方法:

  1. 标准 ABI (原始数据)
  2. 标准 ABI (手动清洗数据，移除离群值)
  3. 鲁棒 ABI (原始数据)
  4. 鲁棒 ABI (清洗数据)

漂移率 (v1-v5) 和边界分离 (a) 的参数估计。

图 17: 标准 ABI 用原始数据 (蓝色) 推断结果偏差明显，而鲁棒 ABI 用原始数据 (红色) 产生的结果与手动清洗后 (灰蓝色) 高度吻合。

响应偏差 (z) 和非决策时间 (T_er) 的参数估计。

图 18: 由于短反应时离群值的存在，标准 ABI 在原始数据上低估了非决策时间 (Ter) ；鲁棒 ABI 自动修正了这一问题。

结果令人瞩目。手动清洗数据变得不再必要——鲁棒 ABI 在原始数据上即可生成准确、可解释的结果，与传统清洗后的拟合结果完全一致。相比之下，标准估计器过度响应短时离群点，导致偏差与误导性结论。

结论: 让 AI 推断更具科学性

本研究提供了检测与修正摊销贝叶斯推断中离群敏感性的实用指南。

主要洞见:

  1. 标准 ABI 对离群值极度敏感，经验影响函数与崩溃点分析明确展示了这一点。
  2. 使用受污染的数据进行训练——一种简单的数据增强方法——可获得鲁棒 ABI 估计器。
  3. 使用柯西 (t₁) 分布进行污染训练表现最佳，网络能隐式学习经典鲁棒统计行为。
  4. 鲁棒性伴随适度、可控的效率损失。
  5. 鲁棒 ABI 在真实数据上表现卓越，免去了手动清洗的需求。

通过将深度学习与鲁棒统计相结合，这项研究使摊销推断从一种高速但脆弱的技术转变为可靠的科学工具。其启示既简单又深刻: 让 AI 在训练中面对现实世界的混乱，它便能学会在其中稳健生长。

在充满不完美数据的世界里，这一方法让我们更接近于既强大又可信赖的 AI 模型——它们是探索人类心智的科学旅程中不可或缺的伙伴。