像 GPT-4 和 Llama-2 这样的大型语言模型 (LLM) 已经彻底改变了我们与技术交互的方式。它们帮我们起草邮件、调试代码，并回答我们最复杂的问题。然而，这些模型是其训练数据的镜像——而这些反映互联网的数据，不幸地包含了历史偏见、刻板印象和社会歧视。

对于研究人员和开发者而言，确保这些模型的公平性是重中之重。但这存在一个技术瓶颈: 我们实际上该如何衡量公平性？传统方法依赖于死板的模板或统计概率，这无法反映我们今天使用 AI 的方式。毕竟，我们使用 ChatGPT 不是为了做填空题，而是进行开放式的对话。

在这篇文章中，我们将深入探讨 BiasAlert , 这是一篇来自浙江大学的新研究论文。研究人员提出了一种专为开放文本生成设计的、新颖的“即插即用”工具。通过将外部知识检索与指令跟随能力相结合，BiasAlert 创建了一个强大的裁判，能够识别出其他最先进模型所遗漏的微妙社会偏见。

问题所在: 为什么现有的评估方法会失效

要理解为什么 BiasAlert 是必要的，我们首先需要看看目前是如何测试偏见的。

历史上，自然语言处理 (NLP) 中的偏见评估主要分为两大类:

  1. 基于嵌入/概率的方法: 这些方法观察单词之间的数学“距离”。例如，模型是否将“医生”与“男性”的联系比与“女性”的联系更紧密？
  2. 固定形式生成: 这些使用“完形填空”测试。你可能会给模型输入: *“He is good at [MASK]” (他擅长[掩码]) * 与 *“She is good at [MASK]” (她擅长[掩码]) *，看模型是预测前者为“数学”而后者为“艺术”。

虽然这些指标在数学上很清晰，但它们实际上与现实脱节。当用户问 LLM “为什么不同种族之间存在紧张关系？” 时，模型会生成一段灵活、开放式的段落。它不是在填空。过去的僵化指标无法有效审计这些复杂的、自由形式的回复。

此外，依靠通用的“安全过滤器” (如用于捕捉仇恨言论的过滤器) 往往是不够的。偏见通常是微妙的、隐含的且依赖于语境的，而安全过滤器通常只寻找显式的毒性内容或违禁词。

BiasAlert 概览，旨在解决现有偏见评估方法中的挑战。

如上图 Figure 1 所示，现有方法 (顶部) 依赖于单个 token 的概率分布。相比之下，BiasAlert 方法 (底部) 是专为 开放文本生成 设计的。它不仅仅关注单词概率；它从数据库中检索上下文，并进行细致的分析，以确定特定人口群体是否被不公平地描述。

BiasAlert 方法: 知识检索遇上推理

BiasAlert 论文的核心假设是，LLM 之所以难以从内部检测偏见，是因为它们缺乏扎实的“道德指南针”或关于特定刻板印象的显式社会知识。它们可能知道语言模式，但在没有上下文的情况下，它们不一定“知道”某个特定短语是有害的。

为了解决这个问题，BiasAlert 引入了一个两步流程: 社会偏见检索 和 指令跟随判断 。

1. 社会偏见检索数据库

模型无法检测它不知道的东西。为了填补这一空白，研究人员构建了一个专门的社会偏见数据库。他们利用了 社会偏见推断语料库 (SBIC) , 这是一个包含对偏见进行标注的真实社交媒体帖子数据集。

研究人员将这些数据标准化为一个包含超过 41,000 个条目的精炼语料库。每个条目都捕捉了一个特定的偏见概念 (例如，关于性别、种族或宗教的特定刻板印象) 。

Table 4: 外部偏见知识检索数据库的数据分布

Table 4 展示了这个知识库的分布情况。它涵盖了广泛的人口统计学范畴，包括种族、性别、宗教和残疾。这个数据库充当系统的“参考图书馆”。当 BiasAlert 分析文本时，它不是在猜测；它是在将文本与存储在这个图书馆中的人类偏见已知模式进行比对。

2. 指令跟随流水线

BiasAlert 的核心在于它如何处理用户的提示词和 LLM 的回复。该系统使用 Llama-2-7b-chat 的微调版本作为裁判，但它并不是独自工作的。

以下是分步工作流程:

  1. 输入: 系统接收用户的提示词 (例如，关于种族的问题) 和 LLM 生成的回复。
  2. 检索: 使用检索模型 (Contriever-MSMARCO) ，BiasAlert 查询社会偏见数据库，以找到与回复内容最相关的前 \(K\) 个偏见示例。
  3. 增强: 原始的 LLM 回复与这些检索到的参考资料相结合。
  4. 指令跟随: 系统将此“增强输入”馈送给 BiasAlert 模型。模型遵循思维链 (CoT) 过程:
  • 识别目标群体 (例如，“非裔美国人”) 。
  • 识别被归因的属性 (例如，“暴力的”) 。
  • 查阅检索到的参考资料。
  • 做出最终判定: 有偏见或无偏见。

BiasAlert 的流水线示意图。

Figure 2 完美地展示了这个流水线。注意中间步骤中“增强输入” (Augmented Input) 的形成。这本质上是在告诉模型: “这是 LLM 所说的内容，这是我们数据库中已知的种族偏见示例。基于这些参考资料，LLM 的陈述是否有偏见？”

这种方法将任务从抽象的“猜测这是否糟糕”问题转变为具体的“模式匹配和推理”问题，而这正是 LLM 更擅长处理的。

实验结果

研究人员将 BiasAlert 与各种强大的基线进行了测试，包括:

  • 商业安全 API: Azure Content Safety、OpenAI Moderation 和 Llama-Guard。
  • LLM 作为裁判 (LLMs-as-Judges) : 要求 GPT-4、GPT-3.5 和 Llama-2 通过提示词直接检测偏见。

评估使用了两个具有挑战性的数据集: RedditBias 和 Crows-pairs 。

卓越的检测能力

结果是决定性的。BiasAlert 显著优于商业安全工具和通用 LLM。

Table 1: 偏见检测性能评估。最好的结果加粗显示，第二好的结果以此为下划线。

Table 1 突出了性能差距。

  • 标准安全工具: 像 LlamaGuard 和 Azure 这样的模型准确率徘徊在 60-67% 左右。它们是为安全 (毒性) 设计的，不一定是为公平 (社会偏见) 设计的，因此遗漏了许多微妙的刻板印象。
  • GPT-4: 即使是强大的 GPT-4，在 RedditBias 上的综合得分 (OS) 也仅为 0.21。
  • BiasAlert: 所提出的工具达到了 0.84 的准确率和 0.82 的综合得分。

这证明了仅仅让模型“更聪明” (像 GPT-4 那样) 不足以让它成为社会偏见的良好裁判。专门的外部知识是必需的。

跨偏见类型的一致性

最有趣的发现之一是 BiasAlert 如何处理不同类型的歧视。

Figure 4: 基线模型在四种偏见类型上的检测准确率分布。

Figure 4 展示了不同偏见类型 (性别、种族、性取向、宗教) 的准确率热力图。

  • 看看 GPT-4 和 Llama-2-13b 的列。它们的表现波动很大；它们可能擅长检测性别偏见，但在宗教偏见上却很吃力。
  • BiasAlert (最右列) 在所有方面都保持了高准确率。值得注意的是，它在 宗教偏见 上表现良好，而这是一个在训练数据中未被重点强调的类别。这表明 检索 机制通过在推理时在数据库中查找相关示例，成功地使模型能够泛化到新的偏见类型。

为何有效: 消融实验

外部数据库真的起到了关键作用吗？还是仅仅微调就足够了？研究人员进行了一项消融实验来找出答案。

Table 2: 消融实验。√: 采用。\\(\\surd ^ { \\prime }\\) : 指令微调。最好的结果加粗显示。

Table 2 分解了各个组件:

  • RE (检索) : 增加检索显著提高了综合得分。
  • CoT (思维链) : 分步指令提高了分类得分 (识别是 哪种 偏见) 。
  • Demo (上下文学习) : 展示示例有助于模型正确格式化其答案。

这三者的结合 (最后一行) 产生了最好的结果，证实了“即插即用”的检索组件是必不可少的。

实际应用

BiasAlert 不仅仅是一个理论指标；它是审计和改进 LLM 的实用工具。作者演示了两个关键应用: 评估和缓解。

1. 审计流行的 LLM

研究人员使用 BiasAlert 对 9 个流行的 LLM (包括 Llama-2、OPT 和 GPT-3.5) 在文本补全和问答任务上进行了评分。

Figure 3: BiasAlert 的偏见评估结果。

Figure 3 显示了这次审计的结果。柱状图代表检测到的偏见水平。

  • 规模 \(\neq\) 公平: 像 Alpaca-7b (下图中) 这样较大的模型在问答任务中表现出的偏见水平明显高于其他模型。
  • 安全训练很重要: 像 Llama-2-chat 和 GPT-3.5 这样的模型通常表现出较低的偏见，这可能归功于其创建者执行的广泛安全对齐 (RLHF) 。

2. 偏见缓解 (过滤器)

最后，BiasAlert 可以作为护栏部署。在这种设置中，用户使用 LLM 生成文本，而 BiasAlert 充当过滤器——如果它检测到偏见，生成就会被终止或标记。

Table 3: BiasAlert 的偏见缓解结果。

Table 3 展示了这种干预的有效性。

  • “wo/ BiasAlert” (无 BiasAlert) : 这一列显示了模型的原始偏见率。例如, Alpaca-7b 有 28.3% 的时间生成有偏见的内容。
  • “w/ BiasAlert” (有 BiasAlert) : 当被该工具过滤时，偏见率下降到了 4.2% 。
  • 时间成本: 最后一列显示了延迟。处理一次生成大约需要 1.4 秒 。 虽然这增加了一点延迟，但在许多安全至关重要的实际应用中，这是可行的。

结论

从简单的句子补全到复杂的、开放式的 AI 助手，这种转变需要新一代的评估工具。 BiasAlert 提供了一个令人信服的解决方案，它承认 LLM 需要帮助——具体来说是外部知识——才能准确判断社会细微差别。

通过结合已知偏见的数据库和基于推理的指令跟随架构，BiasAlert 提供了一种透明且有效的方式来审计大型语言模型的“黑盒”。随着 AI 越来越融入社会，像这样的工具对于确保为我们做决策的算法能够公平对待每个人将至关重要。

本文总结了 Fan 等人提出的研究 “BiasAlert: A Plug-and-play Tool for Social Bias Detection in LLMs”。