为什么AI会遗忘，而我们（通常）不会：来自大脑中“持续学习者”的启示

人类是学习大师。我们能够掌握新技能——学习语言、演奏乐器或精通电子游戏——而不会抹去已经学到的知识。这种在不断获取新知识的同时保留旧知识的能力，被称为持续学习 (continual learning) 。

如果你熟悉机器学习，你就会知道人工神经网络在这方面面临一个严重难题。当你让一个标准网络先训练任务A，然后再训练任务B时，它在任务A上的表现通常会出现剧烈下降。这种性能崩溃被称为灾难性遗忘 (catastrophic forgetting) 。

然而，矛盾的是，人类却常常表现出相反的模式。当我们的训练数据是分块的 (一次只学习一个任务) 时，我们表现得更好 ; 而当来自不同任务的试验被交替或打乱时，我们反而表现得更差。这种反转——人类顺序学习成功，而AI却在顺序学习中失败——是牛津大学、伦敦大学学院和维格纳物理研究中心一项引人入胜的研究论文的核心谜题。

作者们问道:

哪些计算原理让人类大脑能够连续学习新任务而不会发生灾难性遗忘——而为什么交替训练反而阻碍了这种能力？

为了解答这一问题，他们提出了一个融合两种生物启发思想的模型:

1. “迟滞”的任务信号——大脑中的上下文信息不会瞬间重置；上一试验的残留会“泄漏”到当前上下文中。
2. 赫布上下文门控——一种受前额叶皮层功能启发的学习机制，能自动划分神经资源，使新信息不会覆盖旧记忆。

这两种思想共同构建出一个学习和犯错方式都与人类惊人地相似的网络。

人类与机器学习的悖论

为了研究持续学习，研究人员重现了一项行为实验——人们需要学习哪些分形树能在两个不同的花园中茁壮成长: “北方花园”和“南方花园”。

图1: 人类持续学习实验。参与者学习哪些分形树能在各花园中生长，每个情境都有不同的特征–奖励规则。训练要么是模块化的 (一次一个情境) ，要么是交叉的 (情境混合) 。

每棵树在叶子茂密度与树枝分叉度上各不相同。在北方花园中，叶子的茂密程度决定成功；在南方花园中，则由树枝分叉程度决定。参与者要么进行长时间的模块化训练 (先学习一个花园，再学习另一个) ，要么接受交叉训练 , 即情境被混合在一起。令人惊讶的是，接受模块化训练的参与者在后续混合测试中表现更好。

而机器却显示出相反的结果。为什么？

“标准”神经网络: 遗忘的配方

研究团队在一个简化版的树任务上训练了一个前馈神经网络——多层感知机 (MLP) 。输入是沿 x 和 y 位置变化的高斯“斑点”。任务1依赖于 x 位置，任务2依赖于 y 位置。每次试验都提供斑点图像和一个独热编码的上下文提示 (例如，[1, 0]代表任务1) 。

图2: 基线 (“标准”) 网络。交叉训练效果良好，生成准确且正交的任务表征。模块化训练导致灾难性遗忘——任务2开始时，关于任务1的知识被完全抹除。

在交叉训练下，模型达到完美准确率，并学得独立 (“正交”) 的任务编码: 一个轴代表 x 位置，一个代表 y 位置。 但在模块化训练下，它彻底忘记了第一个任务。一旦任务2开始，网络就把任务2的规则套用于所有输入，完全忽略上下文信号。

这揭示了一个张力: 人类在模块化训练中表现出色，而标准网络却灾难性失败。显然，某个关键机制缺失了。

模式一: 交叉训练的代价与“迟滞”神经元

为什么交叉训练对人类来说更困难？答案在于时间依赖性——我们的认知系统假设世界不会突然改变。上下文通常是持续的: 你不会每几秒就从“在家”切换到“在工作”。因此，大脑在理解当前情境时，会融合最近的试验信息。

研究人员用迟滞任务单元来模拟这一点，这些单元将上下文信息跨试验连续传递。网络接收的不是每次都清晰独立的上下文提示，而是一个指数平滑信号:

其中，\( \alpha \) 控制迟滞程度——即上一试验对当前试验的影响。较大的 \( \alpha \) 使上下文信号变得模糊，过去与当前任务混合，这在交叉训练时尤为致命。

图3: 随着迟滞参数 (α) 增大，交叉训练准确率下降，网络从学习两个分离规则转向学习一个折衷的对角线规则——与人类学习者极为相似。

随着 α 上升:

• 准确率下降 (图B) ；
• 决策受不相关特征维度影响 (图C) ；
• 表征坍缩为单一对角线边界，只正确处理“一致”试验——即两个任务共享同一响应的情境 (图E–F) 。

从行为角度看，这种迟滞会引入切换成本与简化偏向——呼应了人类在交叉学习中的表现。

然而，仅有迟滞效应无法防止模块化学习中的遗忘。大脑需要额外的机制来保护旧知识。

模式二: 利用赫布学习实现门控

生物学习如何免于灾难性遗忘？前额叶皮层 (PFC) 提供了线索。它通过门控控制，只激活任务相关神经通路并抑制无关通路。研究人员首先实现了手动门控: 将隐藏单元划分，让一部分响应任务1，另一部分响应任务2。

图4: 手动上下文门控。通过为任务单元到隐藏单元的连接分配相反符号的权重，网络用各自的神经元子集学习各任务，从而避免遗忘。

这种手工门控完全消除干扰: 每个任务使用不同的神经资源。由此可见, 反相关的门控信号——一个任务为正，另一个任务为负——是关键。

于是研究人员尝试让网络自动学习这种结构。

赫布上下文门控

研究人员借助赫布学习来自动化门控，这一经典法则即“共同激活的神经元会连接在一起”。他们采用了奥哈法则 (Oja’s rule) ，一种稳定的赫布学习变体，可自动提取输入的主成分。

在这个模型中，输入方差的最大来源是任务上下文本身。通过将奥哈法则应用于任务单元到隐藏单元的权重连接，网络能自主地发现这种结构。

图5: 赫布学习引发门控。通过奥哈法则，任务权重变得反相关 (图C与F) ，将隐藏单元划分为任务特定的子集。交替进行有监督的SGD和赫布更新，可在模块化学习中保护旧知识 (图D与H) 。

在实践中，交替执行标准的梯度下降与赫布更新使网络能够:

• 加强任务单元与负责相关信息的隐藏神经元之间的连接；
• 弱化与携带无关特征的神经元之间的连接。

随着训练过程推进，两个任务单元的权重向相反方向发散——产生反相关门控信号，将隐藏层划分。由此产生的赫布门控网络能顺序学习无遗忘，即便在模块化训练中也能维持高准确率。

整合: 一个类人持续学习者

最终架构融合了两项创新:

1. 捕捉时间惯性的迟滞任务信号 。
2. 通过赫布更新自学习门控结构。

该混合模型在相同任务设置下进行了测试，成功再现了人类的关键行为模式。

图6: 人类与模型的对比。迟滞 + 赫布网络 (EMA + Hebb) 呈现出人类特征——模块化训练准确率更高 (图A) 、类似人类的一致性效应 (图B) 、更少来自无关维度的干扰 (图C) 、以及在模块化课程下产生因子化表征 (图D) 。

准确率: 人类与EMA + Hebb模型都在模块化训练后表现最佳，而基线AI仅在交叉训练中表现优异。 一致性效应: 人类和混合模型在交叉训练下都对“一致试验”敏感，显示出相似的干扰策略。 决策模式: 在交叉条件下，无关特征影响增强，重现人类偏差。 表征类型: 模块化训练生成分离、因子化的规则；交叉训练则坍缩为单一折衷线性边界。

这些行为一致性证明，简单的生物学机制能够重现复杂的人类学习特征。

错误诊断: 边界偏差与表征形状

为了确定模型 (与人类) 在交叉训练中表现不佳的具体原因，研究人员拟合了一个心理物理模型 , 将误差来源分解为边界偏差、失误率、斜率与偏移量。

图7: 心理物理建模。人类 (A) 与混合网络 (C) 在交叉训练中均出现较大的角度偏差——即类别边界的系统性错误估计。基线模型 (B) 无法复现该特征。

结果显示，人类和EMA + Hebb网络都存在角度偏差 , 即在交叉训练下会系统性地倾斜决策边界，而非随机出错。这验证了交叉学习会改变表征的几何形态，而不仅仅是增加噪声。

思维的几何学: 训练如何重塑表征

研究的最后，作者分析了内部的“神经几何学”。他们用表征相似性分析比较了隐藏层表征与三种模型几何:

• 网格模型——编码跨任务的全部特征；
• 正交模型——在独立轴上表征任务；
• 对角模型——将任务坍缩为共享对角线 (即一致试验) 。

图8: 表征几何学。模块化训练生成正交任务表征，清晰分离各特征。带迟滞效应的交叉训练则生成对角表征，突出一致刺激——与人类数据高度相似。

模块化训练形成正交表征 , 巧妙分离任务相关信息并最小化干扰。 交叉训练在迟滞上下文信号影响下则生成对角表征 , 倾向于编码共享试验而非独立任务。这种权衡与人类认知表征中的偏向相呼应。

结论: 连接大脑与人工智能

这项研究是生物启发学习理论的重要里程碑。仅凭两个直观原则——迟滞性与赫布门控——该模型就协调了人类与AI截然相反的学习模式。

核心洞见:

1. 时间惯性解释交叉训练的代价。 当上下文快速切换时，迟滞信号导致干扰，使表征混合并损害学习。
2. 赫布门控防止遗忘。 通过简单的无监督更新自动划分神经资源，实现稳定的持续学习。
3. 训练塑造神经几何。 模块化学习产生正交、任务特定编码；交叉学习则产生共享、对角式编码。

这些发现展示了基本生物机制如何为人工智能中的长期问题提供优雅解法。持续学习似乎不仅是工程的壮举，更是人类大脑在一生中驾驭变化、稳定与记忆的真实写照。