NOW 出版社横幅 — Foundations and Trends® 系列的标志。

Foundations and Trends® in Machine Learning 的出版商横幅。

元强化学习 (meta-RL) 提出了一个看似简单的问题: 我们能否通过学习如何学习数据，训练一个比其基础学习器学习得更快的智能体？换句话说，我们不是设计一个算法来解决单一任务，而是能否设计一种算法，使其自身成为一个数据驱动的学习过程——从而在面对新任务时能够快速而高效地适应？

本教程提炼了近期综述《元强化学习教程》 (Beck 等, 2025) 中的思想、权衡、关键算法和开放问题。其目标是让学生和从业者更易理解该领域: 什么是元强化学习、为何重要、主要方法如何运作以及未来的研究方向。

下文是一个结构化的导览:

  • 简要背景: 强化学习基础、元强化学习的公式定义及 POMDP 视角。
  • 两个代表不同哲学的典型算法: MAML 和 RL²。
  • 方法分类 (参数化策略梯度、黑盒、任务推断) ，并阐明探索的核心作用。
  • 对多样本元强化学习、监督变体、基于模型的方法、理论与应用的简要综述。
  • 一份简明的实践性开放问题清单以指导未来研究。

如果你希望掌握该领域的直觉，并能评估或设计元强化学习方法，请继续阅读。

1 — 背景: 从强化学习到元强化学习

元强化学习建立在强化学习 (RL) 之上。简而言之:

一个马尔可夫决策过程 (MDP) 是一个元组 \(\mathcal{M} = \langle \mathcal{S}, \mathcal{A}, P, P_0, R, \gamma, N\rangle\)，其中 \(\mathcal{S}\) 是状态，\(\mathcal{A}\) 是动作，\(P(s_{t+1}\!\mid s_t,a_t)\) 是动态转移，\(P_0\) 是初始状态分布，\(R(s,a)\) 是奖励函数，\(\gamma\) 是折扣因子，\(N\) 是时限。一条轨迹 (回合) 表示为 \(\tau=(s_0,a_0,r_0,\dots,s_N)\)。由策略 \(\pi(a\!\mid s)\) 诱导的轨迹分布为

\[ P(\tau)=P_0(s_0)\prod_{t=0}^{N-1}\pi(a_t\mid s_t)\,P(s_{t+1}\mid s_t,a_t), \]

强化学习的目标是期望折扣回报:

\[ J(\pi)=\mathbb{E}_{\tau\sim P(\tau)}\left[\sum_{t=0}^{N-1}\gamma^t r_t\right]. \]

一个强化学习算法将收集到的数据 \(D\) (轨迹) 映射为策略参数化 \(\phi\): \(\phi=f(D)\)。

元强化学习增加了一个外循环，用于学习该内循环算法 \(f\) 的部分或全部。内循环过程 \(f_\theta\) (由元参数 \(\theta\) 参数化) 接收来自一次*试验 *(特定任务生命周期) 的经验 \(\mathcal{D}\)，并输出适应后的策略参数 \(\phi=f_\theta(\mathcal{D})\)。元训练优化 \(\theta\)，使得这些适应后的策略在任务分布 \(p(\mathcal{M})\) 上表现良好。常见的形式化目标为:

\[ \mathcal{J}(\theta)=\mathbb{E}_{\mathcal{M}\sim p(\mathcal{M})}\Big[\mathbb{E}_{\mathcal{D}\mid \mathcal{M}}\big[G(\mathcal{D})\;\big|\;\pi_{f_\theta(\mathcal{D})},\mathcal{M}\big]\Big], \]

其中 \(G(\mathcal{D})\) 衡量试验中的回报。我们通常允许若干“免费”的探索回合——其数量即样本数 \(K\)。选择 \(K\) 的意义在于，初始交互是否纯粹用于信息收集，或是否立即计入性能。

POMDP 视角

元强化学习可以被视作一个 POMDP: 状态的隐藏部分是采样到的 MDP \(\mathcal{M}\) (其动态与奖励) 。智能体能观察转移与奖励，但看不到任务 ID。基于此视角:

  • 历史依赖策略 \(\pi(a\mid\tau_{:t})\) (例如 RNN) 在其激活状态中隐式地执行任务推断 (黑盒方式) 。
  • 或者，内循环可显式计算近似信念 \(b=p(\mathcal{M}\mid\tau_{:t})\)，再据此分布采取行动 (任务推断/贝叶斯方式) 。

这种“依赖历史 vs 依赖信念”的二分法构成了元强化学习算法设计的核心基础。

2 — 两种典型算法 (不同理念)

两种代表性方法极具启发意义，因为它们体现了核心权衡。

MAML: 参数化策略梯度元学习

模型无关元学习 (Model-Agnostic Meta-Learning, MAML) 将内循环视为一个标准的策略梯度学习器，初始参数为 \(\phi_0=\theta\)。对于每个采样任务:

  1. 使用 \(\pi_{\phi_0}\) 收集 \(\mathcal{D}_0\)，并通过一步策略梯度更新得到适应后的参数 \[ \phi_1=\phi_0+\alpha\nabla_{\phi_0}\hat{J}(\mathcal{D}_0;\pi_{\phi_0}). \]
  2. 在 \(\mathcal{D}_1\) 上评估 \(\pi_{\phi_1}\)，再将性能梯度反向传播通过适应步骤更新 \(\theta\)。

关键点:

  • 内循环为显式、结构化的学习算法 (策略梯度) 。该结构有助于泛化: 即使测试任务不同，内循环仍可继续通过梯度适应。
  • 计算元梯度需要对学习步骤求导，会出现方差与偏差的权衡 (采样的内更新 vs 期望) 。
  • 适应能力强，但在极少样本下可能较慢，因为策略梯度通常需多次回合才能稳定估计。

MAML 是在希望元学习器能继续学习分布外任务时的理想选择。

RL²: 端到端学习算法 (黑盒)

RL² 采取的是另一种极端: 将 \(f_\theta\) 表示为一个循环网络，其隐藏状态 \(\phi_t\) 累积经验并直接参与策略 \(\pi_\theta(a\mid s,\phi_t)\)。在一个试验中，RNN 状态在回合之间保持，从而内循环由激活实现而非参数更新。外循环通过标准 RL 对整个 RNN 端到端训练。

关键点:

  • 表达能力极强: RL² 能学习时间步级别的高效适应策略 (上下文学习) 。
  • 高度依赖训练任务分布，当任务变化时容易出现泛化失败。
  • 在元测试阶段通常样本效率高 (少样本适应) ，但对分布外任务较脆弱。

两种算法揭示了元强化学习的核心张力:

  • 编码结构的方法 (如策略梯度) 具备鲁棒性与泛化性。
  • 从零学习结构的方法具备特化性与快速上下文适应。

多数实用算法在此谱系上寻找折中点。

3 — 少样本元强化学习方法分类

在少样本多任务场景中，智能体需在数个回合内完成适应。研究主要围绕三类内循环参数化展开:

  1. **参数化策略梯度 (PPG) **(如 MAML 变体、CAVIA)

    • 内循环: 预定义的梯度更新；元参数包括初始权重、学习率、预条件器或小型上下文向量。
    • 优点: 强归纳偏置 → 能泛化新任务；可扩展为捕捉不确定性的贝叶斯初始化。
    • 挑战: 元梯度估计准确性、在线评估以及元训练样本效率低。

  2. **黑盒 (序列模型) **(如 RL²、RNN、Transformer)

    • 内循环: 学习得到的序列模型，通过激活实现适应 (上下文学习) 。
    • 优点: 适应迅速，可在每个时间步改变行为。
    • 挑战: 泛化能力差、优化不稳定 (RL 中训练 RNN 困难) 、注意力机制计算成本高。

  3. **任务推断 (信念/潜变量模型) **(如 PEARL、VariBAD)

    • 内循环: 推断一个潜变量 \(z\) 来解释所收集的数据 \(\mathcal{D}\)，策略以 \(z\) 为条件。
    • 训练方式可为监督 (提供任务 ID) 、自监督 (重建转移/奖励) 或变分 (学习后验 \(q_\theta(z\!\mid\!\mathcal{D})\)) 。
    • 优点: 贝叶斯式行为原则明确，可进行后验采样与显式不确定性建模。
    • 挑战: 若任务无法被选定潜变量族表示，则推断失败。

一个有助理解的图景是从结构到灵活性的谱系:

  • PPG ← 更多归纳偏置 — 更强 OOD 泛化。
  • 黑盒 → 更少偏置 — 更高特化与即时适应。

任务推断方法位于中间: 既编码结构 (潜在后验) ，又允许灵活适应。

4 — 探索: 元学习特有的核心挑战

元强化学习中的探索不仅是标准 RL 的探索: 智能体需收集有助于适应的数据。考虑一个包含 \(K\) 个免费探索回合的少样本试验，之后进行评估。内循环探索必须有针对性地减少影响后续表现的不确定性。

主要探索范式:

  • 端到端: 直接训练元学习器 (黑盒或 PPG) 最大化元目标。探索隐式学习。此方法简单但样本效率低且不稳定。
  • 后验采样 (Thompson 式) : 维护任务后验分布，每回合采样一个假设并据此行动。PEARL 是代表性方法。此方式原则性强，但在需要跨回合收集信息时 (回合间协调) 效果可能欠佳。
  • 任务推断引导的内在奖励: 用内在奖励驱动探索，如信息增益或预测误差减少。DREAM 与 VariBAD 变体遵循此方式: 探索优化以恢复任务相关信息。

外循环中的元探索同样关键: 如何收集多样化元训练任务以提升适应过程的泛化？

5 — 变体: 监督、基于模型与理论

监督模式

元强化学习的研究涵盖多种监督假设:

  • 标准: 元训练与元测试阶段均有奖励。
  • 无监督元训练: 元训练阶段无奖励；学习多样行为 (如 DIAYN) ，测试时将发现的行为映射到用户奖励。
  • 元测试时无奖励: 内循环需在无奖励信号下适应——使用学习到的评论网络、自监督或赫布更新机制。
  • 元模仿/混合监督: 利用演示数据训练快速适应 (元行为克隆 meta-BC、引导式元策略搜索) 。元模仿学习 (Meta-IL) 与元强化学习相似，但基于离线演示实现快速适应。

基于模型的元强化学习

不直接学习策略，而是学习可适应的环境模型 (动态 + 奖励) ，并利用规划或虚拟轨迹:

  • 模型适应可通过梯度更新、RNN 或变分潜变量模型完成。
  • 基于模型的方法通常更高效且可离线学习，但若模型不完美则渐进性能下降。
  • 它们可支持基于想象的任务扩充，常在机器人领域有效，因为物理先验有利。

理论亮点

理论研究从 PAC 与贝叶斯角度分析元强化学习:

  • 样本复杂度与泛化界依赖于任务分布复杂度: 少样本成功倾向于分布较窄的情况。
  • 贝叶斯自适应 MDP (BAMDP) 提供理想目标: 状态中加入信念，规划以最优平衡探索与利用。精确解难以计算，通常采用变分近似 (如 VariBAD) 。
  • MAML 变体中的元梯度偏差–方差权衡与收敛性已有形式化分析。

6 — 多样本元强化学习与单任务元学习

当适应需经过多次更新 (长试验周期) ，或仅存在一个困难任务时，元强化学习方法会有所不同:

  • 多样本多任务: 学习强化学习算法的组成组件 (内在奖励、辅助任务、学习目标或优化器) ，以加速跨多次更新的学习。这些元学习组件可泛化至新任务族或不同领域。
  • 多样本单任务 (在线超参数调优) : 在单一生命周期内训练时，元学习超参数函数或更新规则。挑战包括非平稳性 (策略变化导致数据分布漂移) 和截断优化 (需在生命周期结束前更新) 。

多样本情形下的优化困难: 长内循环的反向传播代价高 (内存占用、梯度消失或爆炸) 。常见实用方案包括截断或自举代理目标、短期元梯度或无梯度外循环 (如进化策略) ，但会牺牲样本效率。

7 — 应用: 元强化学习的应用场景

凡是需要快速适应且前期元训练成本可接受 (如模拟或实验室) 的场景，元强化学习都极具吸引力:

  • 机器人学: 模拟到现实 (Sim-to-real) 适应、快速调整控制器到新机器人/负载/地形、少样本操作。常采用基于模型与任务推断方法以应对样本限制。
  • 多智能体系统: 将其他智能体作为任务分布一部分——在群体上元训练，使每个智能体能适应未知队友或对手。元强化学习在存在其它学习者时能缓解非平稳问题。
  • 系统控制与基础设施: 交通信号控制、建筑能源管理与自动评分系统等均已采用元强化学习变体。

在应用中，权衡清晰: 昂贵的元训练 (可在模拟中进行) 换来部署阶段更便宜、安全、迅速的适应。

8 — 开放问题与实践指南

该领域仍活跃，重要方向包括:

  • 少样本元强化学习泛化: 现有方法依赖狭窄任务分布。扩展到更广泛、程序生成的任务族 (及稳健的 OOD 泛化) 至关重要。
  • 基准与评估: 统一的元训练/元测试划分、更丰富的任务分布与真实世界模拟-现实套件有助加速进展。
  • 元训练效率: 通过离线/元离线方法、更优的离线元算法与预训练迁移降低高昂成本。
  • 多样本场景下的优化挑战: 针对长内循环与非平稳单任务，开发稳定、低偏元梯度。
  • 离线元强化学习: 仅利用日志学习适应程序——对安全关键领域尤为重要。
  • 可解释与可迁移的元组件: 学习到的目标与内在奖励应可解释或可分析，以确保安全部署。

实用建议:

  • 若测试任务与训练任务相似且需极快适应，选择黑盒/任务推断方法 (RNN、Transformer、VariBAD、PEARL) 。
  • 若需适应分布外任务或继续少样本后学习，选用 PPG (MAML 系列) 或混合方法 (黑盒 + 梯度微调) 。
  • 当存在自然的低维任务描述符时 (或可通过多任务预训练学习) ，使用任务推断。
  • 永远重视探索: 少样本适应依赖于收集信息丰富的经验，而非仅追求高奖励。

9 — 结论

元强化学习将算法设计转化为学习问题: 不再为每种情境手工设计强化学习算法，而是训练出能快速适应新任务的学习过程。这一理念极具潜力——尤其在机器人与部署数据收集昂贵或危险的领域。

该领域的核心权衡在于结构与灵活性: 结构化内循环 (策略梯度) 泛化更强；灵活内循环 (序列模型) 特化更佳、适应更快；任务推断方法通过信念估计结合两者。探索、元训练成本及跨任务族的泛化是主要实践挑战。

Beck 等人的综述汇总了这些思想，提供了统一的 POMDP 视角，并突出了实用算法与理论见解。如果你正在设计自适应智能体，元强化学习提供了一套有原则、前景广阔的工具——随着自适应系统从模拟迈向现实世界，它的重要性将与日俱增。

进一步阅读: 完整综述包含详尽的参考文献、算法伪代码、实证比较与基准目录。如果你喜欢此导览，请深入阅读论文，探索算法细节与实验成果。