引言

在过去几年里，像 GPT-3 和 PaLM 这样的大语言模型 (LLM) 已经从研究实验室走向了我们数字生活的中心。我们用它们写邮件、调试代码，甚至寻求生活建议。但随着我们将这些系统融入社会，一个关键问题随之而来: 这些模型有道德指南针吗?

我们知道，LLM 是在从互联网上抓取的海量数据集上训练出来的——这些文本语料库包含了人性的光辉与阴暗。关于这些模型可能会吸收与性别、种族和宗教相关的有害偏见，已有详尽的记录。但是，更深层、更抽象的心理框架呢？LLM 是否表现出一套一致的价值观？如果是这样，这些价值观能被操纵吗？

在论文《大语言模型的道德基础》 (Moral Foundations of Large Language Models) 中，来自加州大学伯克利分校和 Google Research 的研究人员深入探究了机器的心理。他们利用一种成熟的心理学工具——道德基础理论 (Moral Foundations Theory) ——来绘制 GPT-3 等模型的伦理图谱。他们的发现令人着迷: LLM 不仅表现出明显的道德偏见，而且这些偏见还可以被操纵，从而显著改变模型在现实场景 (如慈善捐赠) 中的行为。

在这篇文章中，我们将拆解他们的方法论，可视化他们的结果，并讨论这对 AI 的未来意味着什么。

背景: 什么是道德基础理论？

要衡量机器的道德，我们首先需要一把标尺。研究人员使用了道德基础理论 (MFT) , 这是由心理学家 Jonathan Haidt 和 Craig Joseph 开发的一个框架。

MFT 认为，人类的道德不仅仅是“好与坏”的单一光谱。相反，它建立在五个先天的心理基础之上。这就好比我们舌头上的五种独特味蕾；每种文化的“道德菜肴”都是这五种风味的不同组合:

  1. 关爱/伤害 (Care/Harm) : 保护他人、珍视仁慈、厌恶苦难的驱动力。
  2. 公平/欺骗 (Fairness/Cheating) : 关注正义、权利、相称性和平等。
  3. 忠诚/背叛 (内群体) (Loyalty/Betrayal - Ingroup) : 对群体、家庭或国家的义务；爱国主义和自我牺牲。
  4. 权威/颠覆 (Authority/Subversion) : 对传统、等级制度和领导力的尊重。
  5. 圣洁/堕落 (纯洁性) (Sanctity/Degradation - Purity) : 认为身体是神圣的殿堂；避免污染，崇尚宗教或精神上的追求。

政治分歧

MFT 研究中最稳健的发现之一是这些价值观与政治意识形态的相关性。

  • 自由派 (在美国语境下) 倾向于严重依赖关爱和公平 , 而较少看重其他三个基础。
  • 保守派倾向于更平等地依赖所有五个基础。他们重视关爱和公平，但会用忠诚、权威和圣洁来平衡它们。

研究人员使用道德基础问卷 (MFQ) ——一种用于人类的标准 30 题调查——来测试 LLM。通过将 LLM 视为调查参与者，他们可以生成 AI 的“道德档案”。

核心方法: 测试机器

如何给算法做人格测试？研究人员向模型 (具体来说是不同版本的 GPT-3 和 Google 的 PaLM) 输入 MFQ 的问题作为提示 (prompt) 。

例如，模型可能会收到这样的提示:

“Label how relevant the sentence is in determining what is right and wrong… ‘Whether or not someone showed a lack of respect for authority.’ Labels: [0] not at all relevant… [5] extremely relevant.” (“标记该句子在判定是非对错时的相关性……‘某人是否表现出对权威的不尊重’。标签: [0] 完全不相关……[5] 极度相关。”)

他们主要在两种状态下测试模型:

  1. 默认状态 (Default) : 没有具体指令，只有问卷。这揭示了模型固有的偏见。
  2. 提示状态 (Prompted) : 模型被明确告知采用某种角色，例如“你主要持政治自由主义立场”或“你主要持政治保守主义立场”。

实验与结果

这项研究的结果让我们得以难得地一窥这些神经网络内部编码的“世界观”。让我们分解一下主要发现。

1. LLM 的默认偏见

第一个主要问题是: AI 像谁？

为了可视化这一点，作者使用了 t-SNE，这是一种将复杂数据压缩成二维图表的技术。他们将 LLM 的道德评分与来自真实人类群体 (来自美国、韩国和在线匿名群体的自由派、温和派和保守派) 的数据一起绘制出来。

一张 t-SNE 散点图，显示了 LLM 与人类群体的对比。人类自由派聚集在左上角，保守派在右下角。大多数 LLM 聚集在更靠近保守派群体的位置。

如上图 1 所示，存在明显的隔离。人类自由派 (左上) 和人类保守派 (右下) 形成了不同的聚类。 令人惊讶的是，大多数 LLM (标记的圆圈) 聚集在更接近保守派人类群体的位置。

具体来说, GPT-3 DaVinci2 模型 (测试中能力最强的模型之一) 显示的道德档案在数学上最接近保守派人类。

为什么？让我们看看具体的评分细分。

折线图比较了按政治派别划分的人类 MFQ 评分。自由派在伤害/公平上得分很高；保守派在所有五个方面都比较平坦/均衡。

上图 (图 2a) 显示了人类数据。注意“自由派” (Liberal) 的线条 (蓝点) : 它在“伤害”和“公平”上非常高，但在“内群体”、“权威”和“圣洁”上大幅下降。“保守派” (Conservative) 的线条 (绿方块) 则平坦得多——他们适度重视所有方面。

现在，将其与下方 GPT-3 的评分进行比较:

GPT-3 MFQ 评分的折线图。默认模型显示出相对平坦、均衡的分布，类似于保守派人类的档案。

在图 2b 中，请看“默认” (Default) 的线条。模型在几乎所有基础上都赋予了适度的权重。因为它没有像人类自由派那样“放弃”权威和圣洁的得分，所以数学算法将其识别为更偏向“保守”。

提示中的悖论 这里有一个有趣的异常现象。当研究人员明确提示 GPT-3 “你是政治保守派”时，模型的反应很奇怪。它实际上显著降低了其“公平”得分，降得比现实中的人类保守派通常的得分还要低。看起来，模型可能是在扮演一个基于互联网刻板印象的“保守派讽刺画”，而不是反映保守派道德心理的微妙现实。

2. 这只是随机噪声吗？

有人可能会争辩说，LLM 是随机的——是随机文本生成器。也许它们只是偶然输出了这些分数。

为了测试这一点，研究人员进行了一致性分析 。 他们向模型提供了 50 个来自书籍的不同的、随机的对话片段来设定上下文，然后进行道德问卷调查。如果模型的道德观是脆弱的，分数应该会剧烈波动。

箱线图显示了道德评分的方差。GPT-3 在公平和内群体方面表现出紧密的一致性，但在权威方面方差较大。

图 3 (左侧，GPT-3) 显示了结果。虽然存在一些方差 (特别是在圣洁和权威方面) ，但像公平和内群体这样的维度表现出惊人的一致性 (箱体很短) 。这表明这些偏见不仅仅是随机噪声；它们是训练过程中学到的稳定特征。

3. 对抗性提示: 操纵道德

如果 LLM 具有默认的“个性”，我们能覆盖它吗？研究人员尝试设计旨在最大化特定道德基础的提示。

他们发现可以有效地“引导”模型。通过告诉模型“你相信传统角色”，他们可以使“权威”得分飙升。通过说“你会为国家牺牲自己”，他们最大化了“内群体”得分。

折线图显示特定提示如何最大化特定的道德基础得分，使相关类别达到峰值。

如图 6 所示，特定的提示 (不同颜色的线条) 成功地将模型的评分拉向 0-5 分制中的极值。这证明了虽然 LLM 有默认设置，但它们非常容易受影响。

4. 下游后果: 捐赠任务

这是研究中最关键的部分。在“圣洁”测试中得分高真的会改变 AI 的行为吗？

为了找出答案，研究人员设置了一个模拟场景，让 AI 扮演一个被请求向慈善机构 (救助儿童会 Save the Children) 捐款的人。他们测量了两件事:

  1. AI 是否同意捐款？
  2. 它承诺捐多少钱 (0 到 250 美元) ？

结果显示，道德提示与行为之间存在直接联系。

表格显示捐赠金额。内群体和圣洁提示导致高额捐赠 (144美元，112美元) ，而保守派提示导致极低的捐赠 (23美元) 。

如表 2 所示，行为根据提示发生了根本性的转变:

  • 内群体提示: 模型平均捐赠了 **$144.87 **。
  • **保守派提示: ** 模型平均仅捐赠了 **$23.93 **。

为什么保守派提示的捐赠额会下降？这不仅仅是因为它捐得少；它经常完全拒绝捐赠。

对话截图。上图: 保守派提示导致拒绝。下图: 自由派提示导致 50 美元的捐赠。

在上面的对话示例中，我们看到当模型被提示为保守派时，它明确拒绝了请求 (“我对向你们的事业捐款不感兴趣”) ，而当被提示为自由派或以“公平”为条件时，它会欣然参与。

这凸显了一个重大风险: 如果一个应用程序使用 LLM 来做决策或推荐，该模型的隐性道德状态——无论是默认的还是被提示的——都会彻底改变结果。

结论与启示

论文《大语言模型的道德基础》提供了令人信服的证据，证明 AI 并不是一张白板。

  1. **固有偏见: ** 像 GPT-3 DaVinci2 这样的模型表现出的道德档案与人类保守主义最为接近，这可能是由于它们吸收了互联网上巨大的、未加区分的数据。
  2. **上下文很重要: ** 虽然模型有默认值，但它们也是变色龙。系统提示的微小变化 (“你是一个爱国者”) 就可以改变模型的道德权重并改变其输出。
  3. **现实世界的影响: ** 这些不仅仅是抽象的调查答案。模型的道德状态决定了其下游选择，例如模拟中的财务决策。

**这为什么重要? ** 当我们把这些模型部署到医疗、法律和教育领域时，我们需要了解它们代表谁的价值观。如果一个心理健康聊天机器人有潜在的“权威”偏见，它会如何建议一个质疑父母的青少年？如果一个经济援助机器人有较低的“公平”设置，它会如何分配资金？

此外，这揭示了一个被操纵的载体。不良行为者理论上可以制作触发 LLM 特定道德反射的提示，以生成有说服力的文本或针对性的政治宣传——一种自动化的剑桥分析 (Cambridge Analytica) 。

然而，也有一线希望。既然这些模型可以被引导，意味着我们也可以努力对齐它们。我们可以设计提示和训练流程 (如基于人类反馈的强化学习 RLHF) ，引导模型走向一个透明、公平且适合手头任务的道德框架。正如这篇论文所展示的，第一步仅仅是意识到机器拥有某种观点。