你的 LLM 是有文化偏见还是单纯困惑？AI 提示中的安慰剂效应

大型语言模型 (LLM) 是现代互联网的引擎，但它们有一个众所周知的问题: 它们倾向于透过西方、盎格鲁中心的视角来看待世界。如果你让一个 LLM 评判某种社交场合或写一个故事，它通常会默认采用美国或欧洲的规范。

为了解决这个问题，研究人员和工程师转向了社会人口学提示 (socio-demographic prompting) 。 这个想法很简单: 如果你想让模型像一个来自印度的人那样思考，你就在提示前加上“你是一个来自印度的人”。如果你想让它采用日本的礼仪，你可能会在上下文中提到“寿司”或“Hiroshi (浩) ”。这种技术既用于研究偏见 (探针) ，也用于迫使模型表现得不同 (对齐) 。

然而，一篇题为 “Cultural Conditioning or Placebo? On the Effectiveness of Socio-Demographic Prompting” (文化条件化还是安慰剂？论社会人口学提示的有效性) 的新研究论文给这一机制泼了一盆冷水。研究人员提出了一个发人深省的问题: 当一个模型根据文化线索改变其回答时，它是在真正地模拟文化，还是仅仅因为我们要改变了提示中的词语而产生的随机波动?

就像医学试验需要区分药物效果和安慰剂效应一样，AI 研究也需要区分真正的文化条件化和随机噪声。在这篇文章中，我们将深入探讨这篇论文，了解为什么目前测量文化偏见的方法可能存在根本性的缺陷。

1. 问题所在: 在黑盒中测量文化

在讨论解决方案之前，我们必须了解现状。研究人员目前将 LLM 视为黑盒。为了测量文化偏见，他们使用一种称为文化条件化提示 (Culturally Conditioned Prompting) 的技术。

逻辑如下:

  1. 选取一个问题数据集 (例如，社交礼仪问题) 。
  2. 用中性提示将其输入 LLM。
  3. 用“条件化”提示再次输入 (例如，“作为一个来自阿根廷的人……”) 。
  4. 如果在提示“阿根廷”时，模型对阿根廷相关问题的准确率提高了，或者模型对“美国”与“中国”的回答不同，我们就可以测量“文化差异”。

然而，众所周知，LLM 非常敏感。之前的工作表明，微小的变化——比如增加额外的空格或将“human”改为“person”——都能极大地改变输出。这引出了本文的核心假设: 安慰剂假设 (The Placebo Hypothesis) 。

如果我们用一个毫无意义的线索提示模型——比如“你最喜欢的门牌号是 44”——而模型的回答变化程度与我们说“你来自摩洛哥”时一样大，那么我们测量的就不是文化。我们测量的是模型的不稳定性。

2. 方法论: 为 AI 设计“安慰剂”

为了验证这一点，研究人员设计了一个严谨的实验，模仿医学中的随机对照试验 (RCT) 。他们需要对比“治疗组” (文化线索) 与“安慰剂组” (非文化线索) 。

代理 (Proxies)

研究人员定义了九种不同的“代理”——用于条件化模型的词语类别。他们按文化敏感度对这些代理进行了排序。

表 1: 按文化敏感度递增排序的代理及示例提示词。该表将各种代理从高文化敏感度 (左) 分类到低文化敏感度 (右) 。

如上文 表 1 所示，代理范围从高度文化相关到完全随机:

  • 文化代理 (治疗组) : 国家、名字、食物、亲属称谓。 这些与特定地区紧密相关 (例如，日本 \(\rightarrow\) Hiroshi \(\rightarrow\) 寿司) 。
  • 非文化代理 (安慰剂组) : 疾病、爱好、编程语言、行星、门牌号。
  • 门牌号 是终极安慰剂。住在“14 号房”还是“44 号房”在逻辑上没有任何理由会改变你对生物学问题或道德困境的回答。

数据集

他们不仅改变了提示，还改变了任务。他们使用了四个具有不同文化相关程度的数据集:

  1. EtiCor: 关于礼仪的数据集。 (高度文化敏感)
  2. CALI: 文化感知自然语言推理。 (高度文化敏感)
  3. ETHICS: 常识性道德判断。 (理应是普世/中性的)
  4. MMLU: 生物、数学等高中/大学考试。 (文化中性)

提示结构

团队利用模板系统系统地生成了提示。这确保了唯一变化的变量是特定的线索词。

图 2: 词汇变体、代理、模型指令和数据点的组合，以获取最终的模型输入

如 图 2 所示，模型接收到的内容由以下部分组成:

  1. 代理/线索: 例如，“一个人的最爱食物是寿司……”
  2. 指令: “选择正确的答案……”
  3. 问题: 来自 MMLU 或 EtiCor 的实际测试问题。

他们在四个主要模型上运行了此设置: Llama-3-8B、Mistral-v0.2、GPT-3.5 Turbo 和 GPT-4 。

3. 实验: 机器中的混乱

如果模型工作正常 (即真正理解文化) ，我们应该期望两件事:

  1. 当在 文化数据集 上使用 文化代理 时 (例如，地区 + EtiCor) ，回答会有 高变异性 。
  2. 当使用 安慰剂代理 或在 中性数据集 上时 (例如，门牌号 + 数学) ，回答 零变异 。

让我们看看实际发生了什么。

可视化不一致性

首先，研究人员绘制了 Llama-3 在 MMLU 数据集 (涵盖 STEM 主题) 上的准确率图。按逻辑，你的生物学知识不应该根据你吃什么食物或你如何称呼你的阿姨而改变。

Llama 3-8B 在 MMLU 上按食物分类的准确率 Llama 3-8B 在 MMLU 上按亲属称谓分类的准确率

上面的地图显示了 Llama-3 在 MMLU 上的准确率。

  • 上图 (食物) : 显示了当提示不同食物时准确率的变化。
  • 下图 (亲属称谓) : 显示了当提示不同亲属称谓时准确率的变化。

结论: 地图显示结果参差不齐且不一致。即使“食物”和“亲属称谓”是对应一致的 (例如，将“寿司”与日本亲属称谓“Qi”匹配) ，模型的表现却波动巨大。如果模型真的在模拟特定的文化角色，这些地图看起来应该是相似的。相反，它们看起来像随机噪声。

标签漂移: “门牌号”效应

理想情况下，对于像 MMLU (科学/数学) 这样的中性数据集，无论提示如何，模型都应该给出相同的答案。这由以下期望表示:

公式显示预测标签应等于未条件化的标签。

这个公式本质上是说: 在中性数据上，使用文化提示给出的答案 (\(y^j\)) 应该与没有任何提示给出的答案 (\(y^\phi\)) 完全相同。

然而，请看下面的 图 3 。 该图表追踪了“标签漂移 (Label Shift) ”——即添加提示后，模型改变其默认答案的频率。

图 3: Llama 在 MMLU 上食物和国家相对于空代理的标签漂移。

在 X 轴上，我们有地区 (及其相关的食物) 。Y 轴是答案改变的次数。

  • 结果: 出现了巨大的漂移。例如，提到“Biryani (印度香饭) ” (食物) 会导致模型在 50 个生物/数学问题中，有约 14 个问题的答案与基准不同。
  • 问题: 这是 MMLU。数学问题的答案不应该因为你吃了印度香饭而改变。这表明模型正在不可预测地对“Biryani”这个 Token 做出反应，而不是进行文化推理。

确凿证据: 安慰剂 vs. 文化

当我们比较“文化”提示与“非文化” (安慰剂) 提示时，最确凿的证据出现了。

图 5: 跨代理的模型不一致性。

图 5 虽然密集但至关重要。它显示了不同代理下答案的 方差 (Variance) (即不一致性) 。

  • 看 Llama-3 (第一列) 和 Mistral (第二列) 。
  • 它们不仅在 国家 和 宗教 上显示出高方差，在 门牌号 和 编程语言 上也是如此。
  • 事实上，对于 ETHICS 数据集上的 Llama-3 (红条) ，编程语言 的方差几乎与 国家 一样高。

这证明了 安慰剂效应 。 模型改变答案仅仅是因为提示中有 额外的文本。“Java”或“14 号房”的具体语义含义触发了模型概率分布的随机变化，如果不加以检查，这看起来就像是“偏见”。

例外: GPT-4

如果你看 图 5 的最右侧 (GPT-4) ，你会看到一个不同的故事。条形图非常微小。GPT-4 具有鲁棒性。它不会根据你的门牌号改变数学问题的答案。这表明“安慰剂效应”与模型的能力高度相关。较小、能力较弱的模型 (Llama-3-8B, Mistral) 很容易被无关的上下文干扰。

4. 为什么会发生这种情况？定性分析

研究人员不仅看了数字；他们还阅读了模型的输出来理解这些错误背后的“推理”。

“过度思考”问题

对于非文化代理，模型经常试图在不存在联系的地方强行建立联系。

  • 提示: “作为一个 Java 学习者，你会如何回应这个道德困境？”
  • Llama 的回答: “作为一个 Java 学习者……这个陈述在语法上是正确的……从语言学角度来看是可以接受的。”
  • 结果: 模型幻觉出了编程语法与道德可接受性之间的联系，导致了错误的答案。

文化刻板印象

研究人员指出，当提示某个地区时，Llama-3 经常采用刻板印象的“角色”。

  • 提示: “把自己当作一个来自牙买加的人……”
  • Llama 回答: “Wah gwaan? Me a-go choose de right answer, mon!”

虽然这看起来像“文化对齐”，但前面的结果表明这种角色采纳是肤浅的。它改变了文本的 风格，但底层的推理逻辑是脆弱的，容易受到随机噪声的影响。另一方面，Mistral 没有生成这些口音，但在其回答逻辑上同样不稳定。

跨模型一致性

不同的模型会以同样的方式失败吗？如果“寿司”意味着特定的文化偏见，Llama 和 Mistral 应该朝同一个方向偏移。

图 6: Eticor 和 MMLU 的跨模型一致性。

图 6 对比了两个模型的方差。

  • 如果两个模型捕捉到了相同的文化信号，点应该沿着对角线 (x=y) 排列。
  • 相反，点聚集在原点附近或随机散布。
  • 结论: 一个模型表现出的“文化偏见”与另一个模型完全不同。这是随机的、模型特有的噪声，而不是人类文化的共享表征。

5. 结论: 我们需要更好的对照实验

这篇论文的发现为 AI 伦理与安全领域敲响了警钟。

多年来，研究人员一直假设，如果一个模型在提示“中国”与“美国”时改变了答案，这就揭示了深层的文化表征。这篇论文认为，对于许多模型来说，这种变化只是海市蜃楼——是由模型无法稳健地处理提示扰动而引起的 安慰剂效应 。

关键要点:

  1. 伪装成信号的噪声: 开源模型 (Llama, Mistral) 中许多看起来像“文化敏感性”的东西，实际上只是对随机 Token (门牌号、行星) 的敏感性。
  2. GPT-4 独树一帜: 目前，只有最强大的模型 (GPT-4) 似乎足够稳健，可以忽略安慰剂提示。
  3. 方法论缺陷: 未来的偏见研究 必须 包含安慰剂对照。如果你要测试性别偏见，你也必须测试“最喜欢的颜色偏见”或“门牌号偏见”，以此设定随机变异的基准线。

如果我们想构建真正理解世界多元文化的 AI，我们首先需要停止用充当安慰剂的提示来欺骗自己。我们需要能够理解上下文的模型，而不仅仅是被关键词一戳就乱动的模型。