平衡之道：CoBa 如何破解 LLM 多任务微调的难题

在大型语言模型 (LLM) 快速发展的今天，我们已经跨越了惊叹于“它能说话”的初级阶段，转而面对“如何在生产环境中应用它”的后勤噩梦。

设想你是一家科技巨头的工程师。你需要你的 LLM 执行 Python 代码补全、将 Java 翻译成 C++，并生成单元测试。传统的方法是为每个任务微调一个独立的模型。但是，部署五个不同的 130 亿参数模型极其消耗资源且效率低下。

解决方案似乎显而易见: 多任务学习 (Multi-Task Learning, MTL) 。 训练一个单一模型来完成所有工作。这既能节省磁盘空间，又能降低推理的复杂性，而且理论上，任务之间应该相辅相成 (学习 Python 的逻辑有助于理解 Java 的逻辑) 。

然而，MTL 有一个鲜为人知的痛点: 它极其难以训练。不同的任务学习速度并不相同。当模型还在艰难地学习日语时，它可能已经掌握了英语并开始过拟合，导致在随后的每一步训练中效果变差。

这正是这篇引人入胜的新论文 《CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models》 (CoBa: 大型语言模型多任务微调的收敛平衡器) 所要解决的问题。研究人员引入了一种轻量级、动态的方法，让所有任务和谐地学习，确保它们齐头并进，且不会造成巨大的计算开销。

问题: 龟、兔与 GPU

要理解为什么 CoBa 是必要的，我们需要先看看为什么标准的多任务学习会失败。

MTL 的标准优化目标通常如下所示:

在这里，总损失是每个单独任务 (\(K\)) 损失的加权和。最简单的方法 (通常称为“Uniform”) 将所有权重 (\(\omega_i\)) 设为相等 (\(1/K\)) 。

问题在于，不同任务的难度和收敛速度各不相同。

1. 兔子 (The Hare) : 一个简单的任务 (例如简单的文本分类) 其损失下降得很快。如果你在等待更难的任务时继续训练它，它就会开始过拟合——死记硬背训练数据而不是进行泛化。
2. 乌龟 (The Tortoise) : 一个复杂的任务 (例如推理) 需要很长时间来学习。如果“兔子”主导了梯度，模型可能会完全忽略“乌龟”。

计算瓶颈

之前的研究人员试图使用 GradNorm 或 FAMO 等方法来解决这个问题。这些方法通过观察梯度 (学习的方向) 来平衡任务。

虽然这些方法对较小的神经网络有效，但对 LLM 来说却是灾难性的。在 700 亿参数的模型中计算和操作每个任务的梯度极其昂贵。如下表所示，像 GradNorm 这样的方法增加了显著的复杂性 (体现在涉及模型权重 \(|\theta_s|\) 或任务数量 \(K\) 的项中) 。

请注意, CoBa (最后一行) 保持了与标准 Uniform 方法非常相似的复杂性，避免了基于梯度的方法所带来的沉重计算惩罚。

CoBa 登场: 收敛平衡器

CoBa 的核心理念简单而深刻: 不要看训练梯度；看验证集损失的趋势。

CoBa 通过根据模型在留出验证集 (held-out validation set) 上的表现动态调整任务权重来平衡训练过程。它的目标是满足两个标准:

1. 相对平衡 (Relative Balance) : 如果任务 A 的学习速度比任务 B 快，则降低任务 A 的权重并增加任务 B 的权重。减慢领先者的速度，加速落后者。
2. 防止发散 (Divergence Prevention) : 如果任务 A 开始变差 (验证损失上升) ，立即压低其权重以防止过拟合。

CoBa 的解剖结构

为了实现这一点，作者设计了一个依赖于三个主要组件的系统: 收敛斜率 (Convergence Slope) 、相对收敛分数 (Relative Convergence Score, RCS) 和 绝对收敛分数 (Absolute Convergence Score, ACS) 。

让我们用论文中提供的一个具体例子来可视化整个过程。

在图 1 (上图) 中，我们看到三个任务的训练动态: A (绿色) 、B (蓝色) 和 C (红色) 。

• 图 (a) 显示了损失比率。注意任务 B 最初下降得非常快。
• 图 (f) 显示了 CoBa 分配的权重。任务 B (蓝色) 最初获得了很高的权重，但随后大幅下降。

让我们分解算法是如何做出这些决策的。

1. 收敛斜率 (\(\alpha\))

首先，CoBa 计算验证损失的变化速度。它取最近一段时间的验证损失，并对它们拟合一条简单的线性直线。

这个斜率 (\(\alpha\)) 告诉我们速度。大的负斜率意味着模型正在快速学习该任务。接近零的斜率意味着学习停滞。正斜率意味着模型正在发散 (变差) 。

2. 相对收敛分数 (RCS)

这个指标解决了第一个标准: 平衡速度。它将一个任务的斜率与所有其他任务进行比较。

• 逻辑: 如果一个任务与其他任务相比斜率更“平缓” (学习慢) ，它会获得更高的分数。如果它的斜率很“陡峭” (学习快) ，它会获得较低的分数。
• 在图 1(c) 中: 你可以看到任务 C (红色) 在训练中期比任务 A (绿色) 有更高的 RCS，因为它的收敛速度较慢。

3. 绝对收敛分数 (ACS)

仅有 RCS 是不够的。想象一下任务 A 正在发散 (变差) ，但任务 B 发散得更快。RCS 可能会错误地告诉我们要专注于任务 A。我们需要一个绝对的衡量标准来说: “停止训练这个任务，它正在变差！”

ACS 查看任务自身的历史记录来检测过拟合。

• 逻辑: 这个公式惩罚斜率变为正值 (发散) 的任务。
• 在图 1(d) 中: 看看任务 B (蓝色) 。它收敛得超级快，但随后触底。ACS 迅速下降，实际上是在告诉模型: “我们已经完成了任务 B，不要再在它上面浪费精力了。”

4. 发散因子 (DF)

最后，我们如何结合这两个分数？CoBa 引入了一个“发散因子” (Divergence Factor) ，充当混合器的角色。

DF 是根据训练的总体趋势计算的。

• 训练早期: 大多数任务都在改进。DF 接近 1，意味着模型主要听从 RCS (平衡速度) 。
• 训练晚期: 任务开始停滞或发散。DF 降向 0，意味着模型主要听从 ACS (防止过拟合) 。

这种动态切换是 CoBa 的“秘诀”，使其能够在早期积极进取，而在后期保持谨慎。

实验结果

研究人员将 CoBa 与几个基线进行了对比测试，包括单任务学习 (STL) 、Uniform MTL 以及 GradNorm 和 FAMO 的改进版本。

1. 代码补全 (Python, Java, C++ 等)

使用 Phi-1.5 (1.3B) 模型，他们在代码生成任务上测试了性能。

如表 2 所示，CoBa 取得了 29.4 的平均分，显着优于 Uniform 基线 (27.6) ，甚至超过了单任务学习 (27.4) 。这证实了 CoBa 不仅仅是在“管理”任务；它实际上促进了正向迁移，即学习一种语言有助于提高其他语言的性能。

我们可以通过下面的损失曲线直观地看到 CoBa 的稳定性。注意 CoBa (右下角) 如何保持所有语言的验证损失紧密聚集并下降，而其他方法则导致分散、不均匀的表现。

2. 多语言问答 (XTREME-UP)

该方法还在人类语言上进行了测试，特别是将低资源语言 (如泰卢固语和孟加拉语) 与高资源语言 (英语、阿拉伯语) 混合。

图 2 显示了 F1 分数。CoBa (橙色/棕色圆点) 在不同语言的性能图表中始终位于顶部。关键在于，它显着提升了低资源语言的表现，同时没有损害高资源语言的表现——这是多语言建模的“圣杯”。

3. 效率

对于工程师来说，最重要的指标可能就是时间。这种复杂的平衡行为会减慢训练速度吗？

根据表 4 , CoBa 非常高效。

• Uniform: 22.98 分钟/epoch
• CoBa: 29.05 分钟/epoch
• GradNorm*: 46.08 分钟/epoch

与什么都不做 (Uniform) 相比，CoBa 仅增加了微小的开销，但比 GradNorm* 等基于梯度的平衡方法快了近两倍 。

结论

训练大型语言模型是一项资源密集型的工作。随着我们迈向能够编程、写作和推理的通用智能体，多任务学习将成为标准。

CoBa 为 MTL 的“对齐问题”提供了一个令人信服的解决方案。通过忽略昂贵的梯度并专注于实际目标——验证集收敛——它提供了一种稳健、高效且数学上合理的方法来训练模型。它确保了“兔子”不会过拟合，“乌龟”能得到所需的关注。

对于学生和从业者来说，CoBa 是一个很好的提醒: 有时最有效的训练信号并非来自复杂的梯度反向传播，而是来自验证集损失的简单趋势线。

关键要点

• MTL 效率: 多任务学习节省了部署资源，但受困于任务收敛不均匀。
• 无梯度 (Gradient-Free) : CoBa 避免了昂贵的梯度计算，使其适用于 LLM。
• 动态加权: 它利用验证损失斜率来平衡快慢任务 (RCS) 并防止过拟合 (ACS) 。
• 性能: 它在计算成本低廉的同时，性能优于单任务和复杂的 MTL 基线。