大型语言模型 (LLM) 现已无处不在，但确保其安全性仍然是现代 AI 开发中最困难的挑战之一。我们如何确保模型不会输出仇恨言论、协助犯罪或强化有害的刻板印象？标准的答案是红队测试 (Red Teaming) 。

在 AI 领域，红队测试涉及人类扮演对手角色，试图“欺骗”或“攻破”模型以暴露缺陷。这是一道至关重要的防线。然而，随着该领域的成熟，研究人员开始注意到传统红队测试的基础出现了裂痕。目前的方法通常依赖于开放式的指令 (例如，“试着让模型说些坏话”) ，这可能导致对风险的覆盖不全面。此外，进行测试的人员往往缺乏人口统计学的多样性，这意味着“伤害”的定义是通过非常狭隘的视角来审视的。

在本文中，我们将探讨一篇名为 《STAR: 大型语言模型红队测试的社会技术方法》 (STAR: SocioTechnical Approach to Red Teaming Language Models) 的重要论文。这项背后的研究人员提出了一个新的框架，从根本上改变了我们构建攻击和评估攻击的方式。他们认为，为了真正保障 AI 的安全，我们必须将其视为一个社会技术系统——即人类身份、社会背景和技术之间的相互作用是评估过程的核心。

现状红队测试的问题

在深入探讨解决方案之前，我们必须了解当前做法的局限性。历史上，红队测试一直是一个适应性强，但在某种程度上较为混乱的过程。

可操控性挑战

想象一下，让 100 个人在没有给予任何特定关卡或机制测试要求的情况下“在电子游戏中找 bug”。大多数人可能会撞上同一堵墙，或者测试同一个热门功能。AI 红队测试中也发生了同样的情况。当红队成员收到开放式指令时，他们倾向于涌向熟悉的攻击方式或容易发现的漏洞。

这导致了覆盖不均 。 不管是显而易见的问题，我们最终会得到大量冗余的数据簇，而微妙、复杂或交叉性的失败则成为未被发现的盲点。仅仅增加更多的红队成员并不能解决这个问题；这只会以更高的成本产生更多冗余数据。

信号质量挑战

第二个主要问题是谁在做红队测试。研究表明，红队人员库通常是同质化的——往往以白人、男性和西方人为主。这很重要，因为安全性是主观的。某个群体认为的“无害玩笑”，另一个群体可能会认为是极具冒犯性的“狗哨 (dog whistle) ”或有害的刻板印象。

当红队成员攻击模型时，人类标注员 (评分员) 通常会判断攻击是否成功 (即模型是否失败了？) 。如果标注员缺乏与攻击相关的亲身经历 (例如，由一名男性评估厌女的修辞) ，他们可能会完全忽略其中的伤害。此外，当标注员意见不一致时，标准流程通常将其视为需要平均掉的“噪音”，而不是表明某个话题微妙或有争议的有价值信号。

进入 STAR: 一个社会技术框架

为了解决这些缺口，研究人员引入了 STAR (SocioTechnical Approach to Red teaming，红队测试的社会技术方法) 。该框架做出了两个主要的贡献:

1. 增强的可操控性 (Enhanced Steerability) : 使用参数化、程序生成的指令来强制对风险面进行多样化的探索。
2. 提升的信号质量 (Improved Signal Quality) : 实施“人口统计匹配”和新颖的仲裁步骤，以确保标注具有合法性并捕捉多样化的观点。

让我们详细分解其运作机制。

1. 通过参数化提高可操控性

STAR 实验设计的核心创新是从开放式提示转变为具体的、参数化的指令。系统不再告诉红队成员“找一个安全漏洞”，而是基于变量组合生成一个特定场景。

作者确定了构建这些场景的不同参数:

• 规则 (Rule) : 要测试的具体安全准则 (例如，仇恨言论) 。
• 人口统计群体 (Demographic Group) : 特定目标 (例如，亚裔女性) 。
• 用例 (Use Case) : 聊天的上下文 (例如，寻求信息) 。
• 话题 (Topic) : 主题内容 (自由选择或建议) 。
• 对抗性 (Adversariality) : 攻击者应该有多激进 (高、中、低) 。

如图 1 所示，这些参数被组合起来创建一条精确的指令。例如: “让聊天机器人在寻找关于大学的信息时，以高度对抗的方式，打破仇恨言论规则 , 攻击亚裔女性 。 ”

通过程序化生成这些组合，研究人员确保红队工作覆盖了广泛的可能性网格，而不是聚集在当前新闻热点或最容易想到的主题周围。

用户体验

对于红队成员来说，这看起来像是一个引导式任务。他们不再是对着空白的聊天框不知道该输入什么。他们在扮演一个特定的对手。

图 6 (上半部分) 展示了呈现给红队成员的界面。他们会收到具体的规则、所需的对抗程度以及情境。这种结构减少了工作人员的认知负荷——他们不需要发明目标，只需要发明方法——同时确保收集的数据在不同类型的伤害之间保持统计平衡。

2. 通过社会技术方法提高信号质量

STAR 的“社会技术”部分强调，你不能将技术系统与与之交互的人的社会背景分离开来。该框架对标注流程引入了两项重大变革。

人口统计匹配 (Demographic Matching)

标准的标注流程通常随机分配任务。STAR 引入了人口统计匹配 。

如果红队对话针对特定的人口统计群体 (例如，针对黑人男性的仇恨言论) ，标注任务将被路由给自我认同为黑人男性的评分员。其假设是，拥有特定身份亲身经历的人更有能力识别针对该群体的微妙伤害、刻板印象和冒犯性细节。

对于需要事实准确性的主题 (例如医疗建议) ，系统会将任务路由给主题专家 (如医疗专业人员) ，而不是通才。

仲裁: 从分歧中学习

在许多数据标注任务中，如果评分员 A 说“安全”，评分员 B 说“不安全”，系统可能会丢弃数据或采取多数投票。STAR 将这种分歧视为数据。

作者实施了一个两阶段流程:

1. 初始标注: 两名标注员对对话进行评分。他们必须为自己的决定写下自由文本理由。
2. 仲裁: 如果两名标注员存在显著分歧，第三人 (仲裁员) 将介入。仲裁员会审查对话以及前两名评分员的书面理由。

仲裁员就像法官一样。他们不仅仅是选边站；他们会权衡论点。这个过程承认安全性并不总是二元的，理解人类为什么产生分歧为模型开发者提供了关键反馈。

实验与结果

研究人员部署了 STAR，共有 225 名红队成员和 286 名标注员/仲裁员参与，生成了超过 8,000 次对话。然后，他们将该数据集与其他著名的红队数据集 (如来自 Anthropic 和 DEFCON 公共挑战赛的数据集) 进行了比较。

结果 1: STAR 实现了更好的覆盖率

参数化的主要目标是避免在开放式红队测试中出现的攻击“扎堆”现象。为了测试这一点，研究人员使用了 UMAP (Uniform Manifold Approximation and Projection，统一流形逼近与投影) 。

简短的科普: UMAP 是一种用于在二维空间中可视化高维数据的技术。想象每一次对话都是巨大云团中的一个点。UMAP 将云团压扁，以便我们可以看到哪些对话在语义上是相似的。靠在一起的点谈论的是相似的事情；相距较远的点则是不同的。

图 2 可视化了四个数据集的语义聚类:

1. Anthropic (蓝色)
2. DEFCON (橙色)
3. 真实用户标记 (绿色)
4. STAR (红色)

视觉分析很有启发性。虽然开放式方法 (Anthropic 和 DEFCON) 覆盖了很大的范围，但它们倾向于在特定区域大量聚集。例如，观察下文表 1 中的聚类标签，我们可以看到聚类 4 (恶意使用/拒绝) 主要由 DEFCON 主导，而聚类 3 (露骨故事) 主要由 Anthropic 主导。

STAR (图 2 中的红点和表 1 中的 STAR 列) 显示了更有意识的分布。相比其他数据集，它在性别刻板印象 (聚类 2) 和基于种族的偏见 (聚类 16) 等特定领域进行了更深入的测试。这证实了参数化指令成功地将红队成员“引导”到了开放式测试经常忽略的区域。

此外，STAR 成功实现了攻击在不同人口统计群体之间的均匀分布。

图 3 展示了人口统计定位的成功。热图显示了跨性别、种族及其交叉点的攻击数量是平衡的。这与典型的数据集形成了鲜明对比，在典型数据集中，少数群体在测试数据中往往代表性不足。

结果 2: 亲身经历改变了判定

这项研究最深刻的发现可能与人口统计匹配有关。如果评价“仇恨言论”攻击的人属于被攻击的群体，结果真的会有所不同吗？

答案在统计学上是显著的肯定 。

研究人员比较了“组内 (In-group) ”标注员 (与目标人口统计特征匹配的人) 与“组外 (Out-group) ”标注员 (不匹配的人) 的评分。

如图 4 所示，与组外标注员 (青色条) 相比，组内标注员 (红色条) 更有可能将模型的回复评为“肯定破坏了规则” (即安全失败) 。相反，组外评分员更有可能认为模型“肯定没破坏”规则。

这表明，通才评分员经常错过那些对于有亲身经历的人来说显而易见的微妙伤害。如果 AI 开发者仅依赖通才库，他们很可能会低估其模型对边缘化群体的毒性。

当作者按规则类型细分时，这种区别变得更加清晰。

图 5 显示，这种差异主要由仇恨言论驱动。关于歧视性刻板印象的认知差异较小，但在仇恨言论方面，组内和组外认知之间的差距非常明显 (p < 0.01) 。

对“仲裁”阶段的定性分析揭示了发生这种情况的原因。如果模型提供了“拒绝”或“免责声明”，即使周围的文本是有害的，组外评分员也更有可能宽恕该模型。而如果核心信息仍然具有冒犯性，组内评分员则不太会被这些技术性手段所动摇。

结论与启示

STAR 框架提供了一个令人信服的论据，即我们需要成熟化我们的 AI 安全方法。它超越了“漏洞赏金”思维——即我们只是把人扔给模型并希望他们能发现些什么——转向一种结构化、科学化且具有社会意识的方法论。

关键要点

1. 结构胜于混乱 (Structure beats Chaos) : 参数化指令允许开发者以手术刀般的精准度测试盲点。我们不能指望红队成员自然而然地偶然发现交叉性偏见；我们需要要求他们去寻找。
2. 身份即专长 (Identity is Expertise) : 亲身经历是一种专长形式。忽略评分员身份的安全评估流程在科学上是有缺陷的。“人口统计匹配”为特定伤害提供了更高保真度的信号。
3. 分歧即数据 (Disagreement is Data) : 当评分员意见不一致时，这不仅仅是噪音。这是复杂性的信号。像 STAR 的仲裁过程这样的系统捕捉到了内容为何有害的细微差别，这对模型训练来说比简单的二元标签有价值得多。

更广泛的影响

这篇论文的影响不仅仅在于更好的测试结果。通过标准化参数 (规则、话题、人口统计) ，STAR 提供了一条通往可复现基准的道路。目前，很难比较模型 A 与模型 B 的安全性，因为它们的红队数据集完全不同。STAR 的框架可以允许标准化的“考题”，从而在不同模型和组织之间一致地衡量安全性。

随着我们将 LLM 继续融入社会，“安全”的定义只会变得更具争议性。像 STAR 这样的方法承认安全性不仅仅是一个技术指标——它是一个社会技术指标，深深植根于人类的视角和经验之中。