Deep Paper

[Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning 🔗](https://arxiv.org/abs/2407.10281)

C-ADA：一种更快、更智能且不会遗忘的人工智能学习方式

想象一下，你教一个 AI 助手识别不同种类的鸟。它很快掌握了知更鸟，然后你教它麻雀，它也学得很好。但当你再次问它关于知更鸟的问题时，它却完全答不上来。这种令人沮丧的现象被称为灾难性遗忘 , 是在构建能够像人类一样从新数据中持续学习的 AI 系统时面临的最大挑战之一。 ...

[RanPAC: Random Projections and Pre-trained Models for Continual Learning 🔗](https://arxiv.org/abs/2307.02251)

永不遗忘：随机投影如何帮助 AI 持续学习

想象一下，你每天都教一个智能助手一项新技能。周一，你教它识别狗的品种；周二，教它识别猫的品种；周三，教它识别鸟的物种。然而，当你在周四让它识别一只金毛寻回犬时，它却完全忘记了狗是什么，只记得鸟类。这种令人沮丧的现象被称为灾难性遗忘 , 它是构建真正智能、可适应的 AI 系统所面临的最大障碍之一。 ...

[Model Zoo: A Growing Brain That Learns Continually 🔗](https://arxiv.org/abs/2106.03027)

一个模型统治所有？为何持续学习需要一个“模型动物园”

想象一下，你试图教一个学生同时成为世界级的物理学家、音乐会钢琴家和烹饪大师。虽然他可能能掌握每个领域的一些基础知识，但精通一项技能却可能干扰其他技能。制作舒芙蕾所需的细腻手感，可能与演奏协奏曲所需的激昂和弦格格不入。 ...

[Compacting, Picking and Growing for Unforgetting Continual Learning 🔗](https://arxiv.org/abs/1910.06562)

压缩、挑选、增长：一种更智能的 AI 无遗忘学习方式

人类是卓越的终身学习者。我们可以掌握一门新语言或一款新电子游戏，而不会忘记如何骑自行车或弹奏旧乐器。这种在保留旧技能的同时不断学习新技能的能力，是智慧的象征。然而，对于人工智能而言，这一直是一个巨大的挑战。 ...

[Continual Learning with Strong Experience Replay 🔗](https://arxiv.org/abs/2305.13622)

强经验回放：对抗灾难性遗忘的新利器

想象一下，你正在教一个 AI 识别不同的动物。你首先给它看成千上万张猫的图片，它在识别猫方面变得非常出色。接着，你教它识别狗。但当你再让它识别猫时，它却犯了难。似乎在学习狗的过程中，它忘记了猫的样子。这种现象被称为灾难性遗忘 , 是构建真正智能、自适应 AI 系统的最大障碍之一。 ...

[Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective 🔗](https://arxiv.org/abs/2506.00205)

重新思考排练：持续学习中何时序列式优于并发式

重新思考排练: 持续学习中何时序列式优于并发式想象一下训练一个 AI，就像学生在整个学期学习一样: 学习新知识，同时不断复习旧内容，确保不遗忘任何东西。持续学习 (Continual Learning，CL) 正是试图实现这一目标——在任务流中训练单个模型，而不必一次性同时获得所有历史数据。一个主流的解决方案是排练 (rehearsal) : 保留一小部分过去样本的记忆，并在学习新任务时重放它们。通常的做法，也是几乎所有人都会用的方法，是将新旧数据混合训练 (并发式排练) 。这种方法效果很好——大多数时候如此。 ...

[Class-Incremental Continual Learning into the eXtended DER-verse 🔗](https://arxiv.org/abs/2201.00766)

重写过去，预备未来：深入解析持续学习模型 X-DER

引言: 人工智能的“遗忘症”问题人类是天生的终身学习者。从幼年起，我们不断获取新技能和知识——学会说话并不会让我们忘记如何爬行，掌握驾驶也不会抹去我们骑自行车的能力。我们的大脑能够整合新信息，同时保留旧知识，这是心理学家所称的流体智力 (fluid intelligence) 的标志——即在不丢失已获知识的情况下，推理和适应新问题的能力。 ...

[Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning 🔗](https://arxiv.org/abs/2404.00781)

解决 AI 的“失忆症”：深入解析基于效用的扰动梯度下降 (UPGD)

想象一下，你教一个聪明的学生一门新学科，他们很快就掌握了。然后你再教他们另一门学科——他们也掌握得很好。但突然之间，他们把第一门学科忘得一干二净。这就是大多数现代 AI 模型所面临的令人沮丧的现实。它们学得快，却患上了一种被称为灾难性遗忘的数字“失忆症”。 ...

[EVCL: Elastic Variational Continual Learning with Weight Consolidation 🔗](https://arxiv.org/abs/2406.15972)

对抗 AI 遗忘症：EVCL 如何结合贝叶斯推断与正则化来掌控持续学习

想象一下，你正在学习一门新语言，但每当你掌握一组单词时，你就会立刻忘记之前学过的。这很令人沮丧，对吧？神经网络也面临着一个类似的问题，称为灾难性遗忘 (catastrophic forgetting) ——当学习新任务时，它们常常会覆盖从早期任务中获得的知识，导致性能急剧下降。 ...

[Overcoming Catastrophic Forgetting with Hard Attention to the Task 🔗](https://arxiv.org/abs/1801.01423)

向终身学习致敬：硬注意力（HAT）如何防止神经网络失忆

想象一下，你花了几个月时间精通钢琴，能够优美地演奏复杂的乐曲。然后，你决定学习吉他。经过几个月的练习，你成了一名不错的吉他手——但当你重新坐到钢琴前时，你的手指变得笨拙，那些旋律也消失了。你已经忘记了如何弹奏。 ...

[A Survey of Continual Reinforcement Learning 🔗](https://arxiv.org/abs/2506.21872)

永不止步的学习——深入探索持续强化学习

想象一下，你教一个机器人煮咖啡。它学会了步骤，做得很好，你很高兴。接着你教它烤面包。几堂课后，它掌握了烤面包的技巧——但当你再让它煮咖啡时，它却忘了。这种“灾难性遗忘”——即学习新技能会抹去旧技能——仍然是现代人工智能的一大顽疾。 ...

[A continual learning survey: Defying forgetting in classification tasks 🔗](https://arxiv.org/abs/1909.08383)

稳定性–可塑性困境：持续学习研究导览

稳定性–可塑性困境: 持续学习研究导览现代神经网络的能力非凡——但仅限于它们所处的世界是静态的。一旦你按顺序喂给它一系列不同的任务，它们通常会忘记之前学过的内容。这种灾难性遗忘是持续学习 (Continual Learning, CL) 领域试图解决的核心挑战: 模型如何在保持足够可塑性以学习新任务的同时，又足够稳定以保留已掌握的知识？ ...

[Continual Learning for Large Language Models: A Survey 🔗](https://arxiv.org/abs/2402.01364)

永不止步：我们如何让大型语言模型保持最新

像 GPT-4 和 LLaMA 这样的大型语言模型 (LLM) 功能极其强大，但它们有一个根本性的缺陷: 它们被困在时间里。它们在一个庞大、静态的互联网快照上进行训练，训练停止的那一刻，它们的知识就定格了。与此同时，世界在不断运转: 新的事实涌现，编程语言演变，社会价值观也在变化。每次有新变化就从零开始重新训练这些庞然大物，无论在计算上还是经济上都几乎不可能实现。 ...

[Continual Learning with Pre-Trained Models: A Survey 🔗](https://arxiv.org/abs/2401.16386)

永不遗忘的 AI 新纪元：预训练模型持续学习指南

人工智能已变得异常强大，但大多数模型却出奇地静态。它们在海量数据集上训练一次后便被冻结，当世界发生变化时无法适应。这是一个巨大的问题，因为现实是动态的: 数据流在演变，趋势在变化，新信息每秒钟都在涌现。我们如何才能构建像人类一样能够持续学习、吸收新知识的 AI 系统，而无需每次都从头开始重新训练呢？ ...

[A Comprehensive Survey of Continual Learning: Theory, Method and Application 🔗](https://arxiv.org/abs/2302.00487)

永不止步：AI持续学习深度指南

如今的人工智能模型通常在大型数据集上一次性训练完成，然后部署——当世界不断变化时，它们依然是固定且脆弱的。相比之下，人类是持续学习的: 我们不断积累知识，适应新环境，并且在学习新技能时很少会“忘记”旧技能的全部内容。弥合这一差距正是持续学习 (也称为增量学习或终身学习) 的目标: 构建能够随时间学习而不会灾难性地抹去先前所学知识的系统。 ...

[Modelling continual learning in humans with Hebbian context gating and exponentially decaying task signals 🔗](https://arxiv.org/abs/2203.11560)

为什么AI会遗忘，而我们（通常）不会：来自大脑中“持续学习者”的启示

人类是学习大师。我们能够掌握新技能——学习语言、演奏乐器或精通电子游戏——而不会抹去已经学到的知识。这种在不断获取新知识的同时保留旧知识的能力，被称为持续学习 (continual learning) 。 ...

[A BRIEF REVIEW OF HYPERNETWORKS IN DEEP LEARNING 🔗](https://arxiv.org/abs/2306.06955)

超网络：构建其他神经网络的神经网络

深度学习模型无处不在。从人脸识别到语言翻译，标准的深度神经网络 (DNN) 已经变得极其强大。但它们存在一个根本性限制: 它们是静态的。一旦 DNN 训练完成，其架构和数以百万计的权重就会被固定下来。如果想要修改它——无论是为了适应新任务、处理新数据，还是微调结构——通常必须再次经历昂贵的训练过程。 ...

[The Tunnel Effect: Building Data Representations in Deep Neural Networks 🔗](https://arxiv.org/abs/2305.19753)

更深不一定更好：理解现代神经网络中的“隧道效应”

十多年来，深度学习的口号一直是 “越深越好”。这个逻辑听起来很自然: 神经网络的每一层都在上一层的基础上学习，从而捕捉越来越复杂的特征。最早的几层识别边缘和颜色，中间层将这些组合成纹理和形状，更深的层则识别出诸如人脸、汽车或动物等抽象概念。这种优雅的分层表征结构解释了为什么深度模型彻底改变了计算机视觉、语言建模以及众多人工智能领域。 ...

[ERROR SENSITIVITY MODULATION-BASED EXPERIENCE REPLAY: MITIGATING ABRUPT REPRESENTATION DRIFT IN CONTINUAL LEARNING 🔗](https://arxiv.org/abs/2302.11344)

ESMER：一种受大脑启发的解决方案，用于修复神经网络中的灾难性遗忘

人类是卓越的终身学习者。从出生起，我们不断获取新技能——走路、说话、骑自行车、学习新语言——而不会突然忘记之前学过的内容。这种从源源不断、动态变化的体验中无缝学习的能力，是我们视为理所当然的天赋。 ...

[THEORY ON FORGETTING AND GENERALIZATION OF CONTINUAL LEARNING 🔗](https://arxiv.org/abs/2302.05836)

终身学习背后的数学：深入探究遗忘与泛化

想象一下教一个学生一系列科目: 先学数学，再学物理，最后学化学。理想情况下，学生会利用数学知识更快地掌握物理，然后再用前两门的知识理解化学。但如果学习化学让他完全忘记了代数公式呢？ ...