引言

在自然语言处理 (NLP) 的世界里，情感分析已成为一个几乎被解决的问题。判断一篇电影评论是正面还是负面，即使是基础模型也能以极高的准确率完成。然而，人类的体验绝不仅仅是“正面”或“负面”这么简单。它是一个包含快乐、悲伤、期待、懊悔和敬畏的万花筒。

在文本中检测这些细微的情绪仍然是一个巨大的障碍。例如，虽然像 RoBERTa 这样的模型可以在情感分析基准测试中表现出色，但当被要求对推文或社交媒体帖子中的具体情绪进行分类时，其准确率往往会大幅下降。为什么？因为情绪是主观的、复杂的，并且往往是相互重叠的。

我们该如何跨越这个鸿沟？一篇引人入胜的新研究论文 《Integrating Plutchik’s Theory with Mixture of Experts for Enhancing Emotion Classification》 (结合 Plutchik 理论与混合专家模型以增强情绪分类) 提出了一种新颖的解决方案。该方案将经典的心理学理论与前沿的深度学习架构相结合。研究人员认为，要让 AI 更好地识别情绪，我们不应该仅仅给它喂更多的数据；我们需要改变它理解情绪标签的方式以及其架构处理这些标签的方式。

在这篇文章中，我们将解构他们的方法，该方法集成了著名的心理学模型——Plutchik 情绪轮 (Plutchik’s Wheel of Emotions) 与混合专家 (Mixture of Experts, MoE) 神经网络架构。读完本文，你将理解如何将复杂的人类情感分解为“原色”，并将其分配给专门的神经“专家”，从而显著提升 AI 的表现。

背景: 情绪心理学

要理解这篇论文在工程上的贡献，我们首先需要回到 20 世纪中叶，回顾心理学家 Robert Plutchik 的工作。

标签的问题

在大多数机器学习数据集中，情绪被视为截然不同、互不相关的桶。一个句子被标记为“愤怒”或“悲伤”。但是，“烦恼”是一种完全不同于“暴怒”的情绪吗？还是说它们只是同一种感觉的不同强度？“爱”是一种独立的情绪，还是由其他成分组成的复合感觉？

AI 中标准的“普通标注 (Normal Labeling) ”忽略了这些关系。这会导致模型产生困惑，尤其是在处理那些无法整齐划归入单一类别的复杂情绪时。

Plutchik 的解决方案: 情绪轮与二元组合

Robert Plutchik 提出，情绪类似于颜色。正如你可以混合原色 (红、蓝、黄) 来产生间色 (紫、绿、橙) 一样，你也可以混合基本情绪来创造复杂情绪。

Plutchik 确定了八种基本情绪 , 它们成对出现:

  1. 快乐 (Joy) vs. 悲伤 (Sadness)
  2. 愤怒 (Anger) vs. 恐惧 (Fear)
  3. 信任 (Trust) vs. 厌恶 (Disgust)
  4. 惊讶 (Surprise) vs. 期待 (Anticipation)

他在著名的情绪轮中将其可视化。

图 2: Plutchik 情绪轮。八种情绪在色谱中呈现，展示了它们在温和与强烈程度上的变化。

如图 2 所示，这个锥形图不仅展示了情绪，还展示了它们的强度。暴怒 (Rage) 是 愤怒 (Anger) 的更强烈版本，而 愤怒 又比 烦恼 (Annoyance) 更强烈。

但理论不仅于此。Plutchik 提出，“复杂”情绪实际上是这八种基本情绪的组合 (二元组) 。这在情绪二元组合图 (Diagram of Emotion Dyads) 中得到了可视化。

图 1: Plutchik 的情绪二元组合图。描绘了由混合八种基本情绪形成的一级、二级和三级二元组合。

仔细观察图 1 。 它显示:

  • 爱 (Love) 实际上是 快乐 (Joy) 和 信任 (Trust) 的混合物。
  • 乐观 (Optimism) 是 期待 (Anticipation) 和 快乐 (Joy) 的混合物。
  • 懊悔 (Remorse) 是 厌恶 (Disgust) 和 悲伤 (Sadness) 的混合物。

这篇论文的研究人员假设，如果强迫 AI 学习这些“配方”，而不是仅仅死记硬背任意的标签，模型将变得更加稳健和准确。

核心方法

作者的方法论建立在两大支柱之上: 基于 Plutchik 理论的新标注策略，以及一种称为混合专家 (MoE) 的专用模型架构。

1. Plutchik 标注法: 分解情绪

第一步是重构现有的数据集。研究人员采用了标准的情绪数据集 (如 SemEval-2018 和 GoEmotions) ，并应用了一种他们称之为 Plutchik 标注法的转换。

他们不再训练模型直接预测像“爱”这样的标签，而是将“爱”分解为其构成的基本情绪: “快乐”和“信任”。如果一个数据点被标记为“悲观”，它会被重新标记为“期待”和“悲伤”。

这有效地创造了一个多标签分类任务 , 模型只需要学习八种基本情绪就能理解整个人类体验的频谱。

表 1: SemEval-2018 中将复合情绪重新标记为对应基本情绪的规则。

如表 1 所示，这简化了 AI 的目标。它不需要从头开始学习“乐观”这个抽象概念；它只需要识别出文本中包含展望未来 (期待) 和快乐 (快乐) 的元素。

2. 混合专家模型 (MoE): 专门的神经网络

改变标签很聪明，但标准的神经网络是否有能力处理这些重叠、微妙的定义？为了确保成功，作者使用了混合专家 (MoE) 架构。

什么是 MoE？

在标准的像 Llama-2 或 Mistral 这样的大型语言模型 (LLM) 中，每一条数据都通过相同的“稠密”层。每一个神经元都参与处理每一个问题。

在混合专家模型中，前馈网络 (FFN) 层——它保存了模型的大部分知识——被分割成多个较小的网络，称为专家 (Experts) 。 当一个 token (一个词或词的一部分) 进入时，一个路由 (Router) (或门控网络) 会决定哪个专家最适合处理它。

这就好比去医院。你不会因为所有问题都去看每一位医生。你会先看分诊护士 (路由) ，护士会根据你的症状把你送到心脏科医生或神经科医生 (专家) 那里。

实现方式

研究人员修改了 Llama-2 (7B) 和 Mistral (7B) 模型的架构。具体来说，他们将最后一个 transformer 块中的 FFN 替换为一个包含 8 个专家的 MoE 层。

图 3: Top-k MoE FFN 的结构。

图 3 说明了这个过程:

  1. 输入: 一个 token 进入该层 (例如，单词“爱”) 。
  2. 路由: 路由分析该 token 并为可用的专家 (FFN 1 到 FFN N) 分配分数。
  3. Top-k 选择: 系统选择得分最高的 \(k\) 个专家。作者尝试了不同的 \(k\) 值 (1 到 4) ，以观察需要多少专家才能捕捉复杂情绪。
  4. 融合: 所选专家的输出被组合起来形成最终表示。

假设是，特定的专家会自然地专精于特定的情绪。专家 1 可能会成为“愤怒”专家，而专家 2 则处理“快乐”。

实验与结果

为了验证这一理论，研究人员使用“普通标注” (标准分类) 将他们的 Plutchik-MoE 方法与基线模型进行了比较。他们使用了两个主要数据集:

  • SemEval-2018: 带有 11 种情绪标签的推文。
  • GoEmotions: 带有 27 种情绪标签的 Reddit 评论。

Plutchik 标注法是否提升了性能？

结果显示，结合 Plutchik 理论普遍提高了模型的稳定性和准确性，这是通过 F1 分数 (结合了精确率和召回率的指标) 来衡量的。

让我们看看在不同 \(k\) 值 (活跃专家的数量) 下的表现。

图 4: 各数据集、k 值和标注方法下 MoE 模型的 macro-F1 分数。 Llama2 和 Mistral 在 GoEmotions 数据集上的 Top-K 门控 Macro-F1

上面的图表 (来自图 4 )揭示了几个关键见解:

  1. Plutchik 的优越性: 在几乎所有的配置中，使用 Plutchik 标注法的模型 (标记为 “Plut.” 的线) 都优于普通标注法 (“Norm.”) 和基线模型。
  2. \(k\) 值的重要性:
  • 对于 SemEval-2018 (左图) ，设置 \(k=2\) (使用 2 个专家) 通常能产生最好的结果。这与 Plutchik 的理论相符，即许多复杂情绪是“二元组”——即两种基本情绪的组合。
  • 对于 GoEmotions (右图) ，表现稳健，尽管最佳 \(k\) 值略有不同。
  1. 稳定性: Plutchik 标注法有助于减轻标签不平衡 (即数据集中某些情绪很罕见) 的影响，提供了更一致的学习曲线。

拯救“表现不佳”的情绪

最重要的发现之一是在分类那些模型通常难以处理的情绪方面的改进。在标准训练中，像“期待”或“信任”这样的情绪往往检测率很低，因为它们很微妙且依赖于上下文。

表 9: SemEval-2018 中表现不佳情绪的 F1 分数。

表 9 强调了 SemEval-2018 中的显著改进:

  • 期待 (Anticipation, ANT): Llama2 模型的分数从 24.0 (普通) 跃升至 66.8 (Plutchik)。
  • 信任 (Trust, TRU): 从 12.8 提高到 57.8 。

为什么会有如此巨大的飞跃？在普通标注下，“悲观”是一个单独的标签。在 Plutchik 标注下，“悲观”为“期待”和“悲伤”都贡献了训练数据。这有效地执行了数据增强 , 为模型提供了更多“期待”的例子以供学习，从而改进了其对该基本情绪的理解。

处理复杂情绪

该方法在分类复杂情绪时也大放异彩。通过教导模型“爱 = 快乐 + 信任”，MoE 模型可以利用其对“快乐”和“信任”的深刻理解来识别“爱”，即使“爱”的例子是独特的。

表 12: GoEmotions 中复杂情绪的 F1 分数。

在 表 12 (GoEmotions 结果) 中，我们看到像 爱 (Love, LO) 这样的复杂状态表现出色，Mistral 模型的 F1 分数达到了 85.6 左右。这证实了模型成功学会了综合基本情绪线索来识别复杂情感。

“专家”真的专精了吗？

这篇论文最迷人的部分或许是对专家学到了什么的分析。特定的专家真的接管了特定的情绪吗？

为了将其可视化，作者追踪了哪些专家被选中用于哪些情绪标签，并绘制了相关性图。

图 5: (a): 普通标注配合 Top-2 门控的情绪相关性。(b): 普通标注配合 Top-4 门控的情绪相关性。

图 5 展示了这些相关性热力图 (红色 = 正相关，蓝色 = 负相关) 。

  • 正面聚类: 注意连接 快乐、爱 和 乐观 的强烈红色块。这意味着路由将这些输入发送到了同一组专家。模型独立地发现了这些情绪是相关的。
  • 负面聚类: 同样，愤怒、厌恶 和 悲伤 形成了一个相关的聚类。
  • 异性相斥: 注意 愤怒 和 钦佩，或 快乐 和 悲伤 之间的深蓝色 (负相关) 。模型学会了将这些对立的情绪发送给完全不同的专家。

这种行为是从训练中自然涌现的；它不是硬编码的。MoE 架构结合 Plutchik 的逻辑，使得 AI 能够发展出一种反映人类心理学理论的情绪内部表征。

结论与启示

Lim 和 Cheong 的这项研究为“知情 AI (Informed AI) ”提供了一个令人信服的论据。他们表明，与其将深度学习模型视为只需要更多数据的黑盒，不如注入领域知识——在本例中是心理学理论——从而极大地提升性能。

通过将 Plutchik 情绪轮与混合专家模型相结合，研究人员实现了:

  1. 更高的准确性: F1 分数相比基线模型有显著提升。
  2. 更好的泛化能力: 在检测诸如“期待”和“信任”等微妙、“表现不佳”的情绪方面有巨大改进。
  3. 可解释性: 一种我们可以实际看到专家在正面或负面情绪聚类中进行专精的架构。

这为什么重要？

随着我们迈向在客户服务、治疗或教育中与人类互动的 AI 智能体，仅仅识别“情感: 正面”已不再足够。一个 AI 导师需要区分一个感到困惑 (惊讶 + 期待) 的学生和一个感到无聊 (厌恶 + 悲伤) 的学生。

这篇论文为构建这种级别的情商提供了蓝图。它表明，同理心 AI 的未来不仅在于更大的模型，还在于那些在结构上被设计为能理解人类情感这一复杂、混合配方的模型。