深度论文轻松读懂

直观理解每一篇文章的故事

[Large-Scale Meta-Learning with Continual Trajectory Shifting 🔗](https://arxiv.org/abs/2102.07215)

超越小样本：让元学习适用于大规模任务

元学习——通常被称为学习如何学习——彻底改变了我们处理数据有限任务的方式。像模型无关元学习 (MAML) 这样的经典方法在小样本学习场景中取得了显著成效，在这些场景下，模型仅需少量样本即可适应新任务。这些技术会学习一组初始参数，使模型能够通过极少的梯度更新在不同任务之间快速适应。 ...

[Cooperative Meta-Learning with Gradient Augmentation 🔗](https://arxiv.org/abs/2406.04639)

协作式“学习如何学习”——陪练伙伴如何提升元学习效果

机器学习模型如何仅通过一两个样本就能学会识别一种新物体？人类能够轻松做到。如果你只看过一张“凤尾绿咬鹃”的照片，你很可能之后也能认出其他的凤尾绿咬鹃。对于人工智能而言，这类挑战属于小样本学习 (few-shot learning) 的范畴——这是一个出了名的难题。其关键在于一个引人入胜的概念: 元学习 (meta-learning) ，即“学习如何学习”。 ...

[FAST ADAPTATION WITH KERNEL AND GRADIENT BASED META LEARNING 🔗](https://arxiv.org/abs/2411.00404)

超越 MAML：一种利用核与梯度协调的更快、更智能的学会学习之道

引言: 对数据的渴求与学会学习的希望深度学习已经彻底改变了从计算机视觉到自然语言处理的众多领域，但这一成功也伴随着高昂的代价。最先进的模型出了名地“嗜数据如命”，通常需要数百万个带标签的样本和庞大的计算资源来训练。那么，如果一个模型可以像人类一样，仅凭几个例子就掌握一项新技能，会怎样呢？这正是小样本学习 (few-shot learning) 的核心挑战。 ...

[Exploring the Intersection between Neural Architecture Search and Continual Learning 🔗](https://arxiv.org/abs/2206.05625)

为学习而生：打造能够自我适应与演化的人工智能

人工智能已在众多专业任务中取得了超越人类的表现。AI 可以在国际象棋中击败特级大师，以惊人的准确度转录音频，并在图像识别方面超过人类。然而，尽管现代 AI 功能强大，却存在一个关键弱点: 它很“脆弱”。多数 AI 模型就像一个为了单场考试而拼命的优秀学生——能完美掌握一门学科，却在面对新主题时一无所知。相比之下，孩子能够持续学习，适应新信息，精进技能，并在旧知识的基础上不断拓展，而不会将过去的学习清空。 ...

[Transformers for Supervised Online Continual Learning 🔗](https://arxiv.org/abs/2403.01554)

永不止步的 Transformer：深入探讨在线持续学习

引言: 一个不断变化的世界带来的挑战如今，大多数机器学习模型都是在静态数据集 (如 ImageNet 或维基百科) 上训练，然后作为固定系统进行部署。这种设置依赖于独立同分布 (i.i.d.) 假设 : 即认为真实世界中的数据分布与训练数据相似。但实际上，我们的世界是动态的、不断变化的。股票价格每秒都在波动，语言在持续演变，自动驾驶汽车的摄像头永远不会两次看到完全相同的场景。 ...

[Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning 🔗](https://arxiv.org/abs/2412.04190)

超越固定架构：AI 模型如何通过成长实现终身学习

在过去十年中，深度学习在一种“蛮力”理念下蓬勃发展: 构建一个庞大且固定的网络，并为其提供海量数据集。这种方法取得了显著成果——计算机如今能够看、说，甚至进行创造性生成。然而，这种成功也带来了两个严重问题: 低效和健忘。多数 AI 模型的参数远超所需，而当被要求学习新任务时，它们常常会忘记之前所学的一切——这就是所谓的灾难性遗忘。 ...

[Prototype Augmented Hypernetworks for Continual Learning 🔗](https://arxiv.org/abs/2505.07450)

解决AI的“失忆症”：超网络与原型如何战胜灾难性遗忘

想象一下，你教一个智能系统识别不同类型的鸟。它掌握了知更鸟、麻雀和老鹰。然后，你教它关于鱼的知识——金枪鱼、鲑鱼和小丑鱼。但当你再次让它识别知更鸟时，它却茫然无措。它已经忘记了。这种现象被称为灾难性遗忘 (Catastrophic Forgetting, CF) , 是构建真正自适应人工智能的最大障碍之一。一个在新任务上训练的模型，往往会覆盖掉它从先前任务中学到的知识，实际上患上了一种“数字失忆症”。 ...

[Continual Learning for Autonomous Robots: A Prototype-based Approach 🔗](https://arxiv.org/abs/2404.00418)

永不停学：CLP 算法如何让机器人在真实世界中自适应

人类是卓越的学习者。从出生的那一刻起，我们就不断地吸收信息、识别新事物，并调整我们对世界的理解——而不会遗忘昨天所学的一切。如果你今天学会了什么是智能手表，你不会突然忘记什么是布谷鸟钟。这种贯穿一生的增量学习能力，是自然智能的标志。 ...

[Meta Continual Learning 🔗](https://arxiv.org/abs/1806.06928)

教神经网络如何记忆：深入探索元持续学习

想象一下教一个孩子认识猫。他们在这方面变得非常擅长。然后，你开始教他们认识狗。突然之间，他们似乎忘记了猫长什么样。这对人类来说听起来很荒谬，但对于人工神经网络而言，却是一个非常真实且令人沮丧的问题。这种现象被称为灾难性遗忘 (catastrophic forgetting) ，是构建能够在整个生命周期中持续学习、真正智能且可适应的人工智能系统的主要障碍。 ...

[Learning to Continually Learn Rapidly from Few and Noisy Data 🔗](https://arxiv.org/abs/2103.04066)

不止是回放，更要学会如何回放：用 MetaSGD 为持续学习增压

想象一下你正在训练一个 AI 去识别动物。你从猫和狗开始，模型表现很好。然后你加入了鸟和鱼——但当你再次测试它时，奇怪的事情发生了: 它现在能出色地识别鸟和鱼，却完全忘记了猫长什么样。 ...

[Efficient Meta Lifelong-Learning with Limited Memory 🔗](https://arxiv.org/abs/2010.02500)

如何教会 AI 新技能，又不忘旧本领

人类是卓越的学习者。在我们的一生中，我们不断获取新技能，适应不断变化的环境，并在过去的经验基础上持续成长。当你学会骑自行车时，你不会忘记如何走路；当你学习一门新语言时，你仍然记得自己的母语。这种在不抹去已有知识的前提下积累新知识的能力，是人类智慧的一个重要标志。 ...

[CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay 🔗](https://arxiv.org/abs/2402.01348)

对抗 AI“失忆症”：深入解析 CORE 的认知回放

想象一下，你教你的智能家居助手识别家庭成员。它完美地学会了识别你的父母、兄弟姐妹和伴侣。然后，你带回家一只新小狗，并教它认识这只宠物。第二天，当你让它识别你的妈妈时——它突然不知道她是谁了。它已经完全忘记了。 ...

[Replay4NCL: An Efficient Memory Replay-based Methodology for Neuromorphic Continual Learning in Embedded AI Systems 🔗](https://arxiv.org/abs/2503.17061)

低成本对抗 AI 遗忘症：Replay4NCL 如何实现高效终身学习

想象一下，一架智能无人机被部署去监控一个偏远的野生动物保护区。最初，它被训练来识别鹰和鹿。但有一天，一种新物种——狐狸——进入了该区域。为了让无人机保持实用价值，它必须在不遗忘鹰和鹿长相的情况下学习识别这种新动物。这种能够顺序学习而不丢失以往知识的能力被称为持续学习 (Continual Learning, CL) 。 ...

[MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning 🔗](https://arxiv.org/abs/2405.09492)

解决 AI 的“健忘症”：深入解析 MGSER-SAM，实现更智能的持续学习

引言: 当 AI 开始遗忘想象一下，你正在教一个智能 AI 识别动物。首先，你给它看了成千上万张猫的图片——它成了猫专家。接着，你用狗的图片训练它，它很快就学会了。但当你再次给它看猫的图片时，AI 却一脸困惑。不知为何，它忘记了猫长什么样。 ...

[Scalable Strategies for Continual Learning with Replay 🔗](https://arxiv.org/abs/2505.12512)

永不遗忘：让 AI 持续学习的可扩展技巧

人工智能领域长期以来一直追求一种能够持续学习的系统——随着时间的推移不断吸收新信息，而不会忘记已经掌握的知识。人类天生能够做到这一点: 每当我们学会一个新食谱或一首新曲子时，并不需要“重新训练”大脑。而大多数人工智能模型则是静态的。经过一次大规模的训练后，它们往往被冻结；想让它们学到新东西通常意味着从头开始训练，这在计算上既昂贵又不可持续。 ...

[Online-LoRA: Task-free Online Continual Learning via Low Rank Adaptation 🔗](https://arxiv.org/abs/2411.05663)

即时学习：深入解析用于持续学习的 Online-LoRA

想象一辆自动驾驶汽车正在学习如何在你的城市中导航。它首先掌握了高速公路，然后是市中心的网格状道路，最后是蜿蜒的郊区小路。现在再想象一下，当它学习识别一种新型人行横道时，却忘记了停车标志长什么样。这样的失误将是灾难性的。 ...

[FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning 🔗](https://arxiv.org/abs/2504.08823)

FM-LoRA：让 AI 终身学习而不遗忘

想象一下，你教一个智能助手识别不同的鸟类。它首先学会了识别知更鸟。然后，你教它认识麻雀。但当你再次让它识别知更鸟时，它却完全忘记了知更鸟长什么样。 ...

[Deep Generative Continual Learning using Functional LoRA: FunLoRA 🔗](https://arxiv.org/abs/2510.02631)

FunLoRA：让 AI 永远学习而不遗忘的巧妙技巧

人工智能已经取得了非凡的成就——有时在复杂推理、视觉和创造性任务上甚至超越了人类。然而，大多数人工智能系统都存在一个人类本能掌握的根本弱点: 在不遗忘的情况下持续学习。 ...

[SD-LORA: SCALABLE DECOUPLED LOW-RANK ADAPTATION FOR CLASS INCREMENTAL LEARNING 🔗](https://arxiv.org/abs/2501.13198)

SD-LoRA：基础模型如何实现无遗忘的持续学习

想象一下，你正在教一个 AI 识别动物。你先训练它识别狗和猫——它表现得非常出色。接着你让它学习识别鸟和鱼。结果，当你再次让它识别猫时，它却犯了难。它似乎忘记了之前学到的内容。 ...

[Replay-Free Continual Low-Rank Adaptation with Dynamic Memory 🔗](https://arxiv.org/abs/2411.00623)

DualLoRA：教视觉 Transformer 新技巧，同时不忘旧知识

想象一下，你教一个聪明的学生一门新课程，却发现他们把上周学的内容全都忘了。这种令人沮丧的现象被称为灾难性遗忘 (catastrophic forgetting) ，是人工智能领域最大的挑战之一。当我们部署像视觉 Transformer (ViT) 这样强大的模型时，我们希望它们能不断从新数据中学习，掌握新任务，而不需要从头进行耗时且昂贵的重新训练。这正是持续学习 (Continual Learning, CL) 的核心目标。 ...