引言

像 ChatGPT、Gemini 和 LLaMa 这样的大型语言模型 (LLM) 的快速演进，彻底改变了我们生成文本的方式。从撰写邮件到生成代码，这些工具无比强大。然而，这种力量也带来了显著的负面影响: 潜在的滥用风险。学术造假、虚假信息的传播以及垃圾邮件的生成日益令人担忧。随着 LLM 变得越来越复杂，它们生成的文本也越来越难以与人类写作区分开来。

这就造成了一场数字军备竞赛。随着生成器越来越好，检测器也必须随之进化。传统的检测方法通常依赖于寻找文本中的“瑕疵”或统计异常。但是，当 AI 写作完美无瑕时会发生什么？当生成的文本在语义上与人类写作完全相同时又该怎么办？

在这篇文章中，我们将深入探讨一篇研究论文，该论文针对这一问题提出了一个巧妙的解决方案: SimLLM 。 研究人员不再寻找错误，而是关注 LLM 如何优化文本。他们的核心洞察非常迷人: 如果你要求 AI 重写人类写的句子，它会为了让句子“更好”而进行大幅修改。但是，如果你要求 AI 重写一个它自己写的句子，它几乎不会做任何改动。

我们将探索这种方法背后的直觉，逐步拆解其架构，并分析相关实验，以展示为何 SimLLM 的表现优于现有的检测策略。

背景: AI 检测的现状

为了理解为何 SimLLM 是必要的，我们需要先了解当前检测方法的局限性。通常，检测技术分为三类:

  1. 监督学习 (Supervised Learning) : 这涉及在海量标记为“人类”和“AI”的文本数据集上训练分类器 (如神经网络) 。虽然有效，但这种方法非常依赖数据，并且在遇到未见过的模型生成的文本 (分布外文本) 时往往会失效。
  2. 水印技术 (Watermarking) : 这种技术修改 LLM 本身，将统计模式 (“水印”) 印入生成的词语中。虽然可靠，但这需要模型开发者的配合。你无法为你无法拥有或控制的模型添加水印，这使得在现实世界中检测 ChatGPT 等专有模型生成的文本变得不切实际。
  3. 零样本检测 (Zero-Shot Detection) : 这些方法不需要训练数据。它们通常分析词语在序列中出现的概率。其假设是机器倾向于选择高概率的词，而人类则更加混乱和富有创造力 (具有更高的“困惑度”) 。

“类同”文本的问题

大多数先前的研究都集中在非类同 (non-analogous) 文本上——即生成的文本与提示词大相径庭或包含明显的幻觉。然而，SimLLM 背后的研究人员关注的是类同 (analogous) 生成的文本。这类文本在模仿人类写作方面非常逼真，以至于意义和结构几乎相同。在这种情况下，传统的概率指标 (如熵或困惑度) 往往会失效，因为 AI 成功地模仿了人类语言的统计特性。

核心直觉: 优化与重生成

SimLLM 的基本假设植根于优化的概念。

当 LLM 基于人类的提示生成文本时，它本质上是在试图将信息“优化”为它能找到的概率最高、最连贯的词序列。由于人类语言天生是不完美且多样的，原始人类文本与 AI 的“优化”版本之间通常存在显著差距。

然而，试想一下，如果你将那段AI 生成的文本反馈给模型，并要求它再次优化，会发生什么？文本已经被优化过了。模型已经选择了概率最高的结构和词汇。因此，在这个“重生成”或“校对”阶段，变化应该是微乎其微的。

假设:

  • 人类文本 \(\rightarrow\) AI 校对: 变化程度高 (相似度低) 。
  • AI 文本 \(\rightarrow\) AI 校对: 变化程度低 (相似度高) 。

让我们看一个论文中的具体例子来说明这一点。

图 1: 观察到的原始文本与其校对版本之间的相似度，显著低于生成文本与其重生成文本之间的相似度。原始文本与生成文本之间的差异用不同颜色直观高亮显示。通过校对归因于 ChatGPT 和 LLaMa 的差异分别用下划线和粗体格式强调。

在图 1 中，我们看到了模型如何处理人类文本与生成文本的对比。

  • 上方路径 (人类来源) : 人类句子 (\(h\)) 是 “Forensic scientists were unable to say why she died.” (法医科学家无法说明她死因为何) 。当 ChatGPT 校对这句话时 (\(h_{ChatGPT}\)) ，它将 “say why she died” 改为了 “determine the cause of her death” (确定她的死因) 。这是结构和词汇上的显著改变 (10 个词的差异) 。
  • 下方路径 (机器来源) : 机器生成的句子 (\(m_{ChatGPT}\)) 是 “Forensic scientists were able to determine the cause of her death.” (法医科学家能够确定她的死因) 。当被要求再次校对这句话时 (\(m_{ChatGPT-ChatGPT}\)) ，输出是完全相同的。模型审视了自己的作品，发现它已经被优化过了，因此什么也没改。

这种“编辑距离”或相似度上的差异，正是 SimLLM 所检测的信号。

SimLLM 方法

SimLLM 代表一种评估输入与其 LLM 生成对应物之间相似度( Similarity) 的方法。该工作流旨在确定输入句子 \(s\) 是人类编写的还是机器生成的。

高层架构

整个过程如下图所示。

图 2: 所提出的方法 (SimLLM) 旨在确定给定句子 \\(s\\) 是由大型语言模型生成的还是由人类编写的。

如图 2 所示，该流程包括获取输入句子 \(s\)，将其通过一个或多个候选模型 (\(m_1, \dots, m_n\)) 以创建“校对”版本 (\(s'_1, \dots, s'_n\)) ，然后分析结果。

以下是该方法的逐步拆解:

1. 校对输入句子

第一步是生成用于比较的文本。研究人员发现，复杂的提示词往往会混淆模型或导致截然不同的输出。为了保持一致性，他们使用了一个简单、直接的提示词:

“Proofreading for the text: [输入句子]” (对文本进行校对: [输入句子])

为什么要“校对”？目的不是要求模型写一个新故事，而是润色现有的故事。这揭示了前文讨论的“优化差距”。

图 4: 探索不同提示下大型语言模型生成输出的变化。输出中的修改用下划线和粗体强调。更简单的提示倾向于产生更具想象力的输出。

图 4 展示了为何提示词的选择至关重要。复杂的提示词 (底部几行) 可能导致不必要的解释或格式更改。简单的提示词 (顶部一行) 鼓励模型严格关注文本的润色。注意 LLaMA 和 ChatGPT 是如何引入粗体/下划线的更改的；当输入是人类文本时 (如前例所示) ，这些更改更为频繁。

2. 最佳候选的启发式选择

当 LLM 生成响应时，它可能会输出多个句子或包含对话填充词 (“这里是修改后的文本……”) 。SimLLM 采用启发式算法来提取实际的校对句子。

图 3: 从输入句子 s 生成校对句子 \\(s ^ { \\prime }\\)。

图 3 中的流程图详细描述了这一提取过程:

  1. 生成: LLM 产生原始补全内容。
  2. 分割: 补全内容被分割成候选句子 (\(s_1, s_2, \dots\)) 。
  3. 评估相似度: 使用 BART 分数将每个候选句子与原始输入句子进行比较。相比于仅计算重叠词汇的 BLEU 等指标，BART 分数更受青睐，因为它能捕捉语义。
  4. 阈值化 (\(\alpha\)): 这是一个关键步骤。有时，如果原始句子已经“完美”，LLM 可能会输出不相关的内容或无法输出有效的修正。算法会检查相似度分数 \(d_i\) 是否超过阈值 (\(\alpha\)，根据经验设为 -2.459) 。
  • 如果相似度 > \(\alpha\): 该候选句子被接受为校对版本 (\(s'\)) 。
  • 如果相似度 < \(\alpha\): 保留原始句子 \(s\) 作为 \(s'\)。这有效地处理了生成失败的情况。

3. 通过拼接进行分类

一旦我们拥有了原始句子 (\(s\)) 和排序后的校对版本 (\(s'\)) ，我们需要做出最终决定。

研究人员没有依赖简单的阈值 (例如，“如果相似度 > 90%，则是 AI”) ，而是使用了机器学习方法。他们将原始句子与其校对版本拼接起来。

分类器的输入: \(s \oplus s'_1 \oplus s'_2 \dots\)

这个拼接后的字符串被输入到一个 RoBERTa-base 模型中。该模型经过微调，通过观察 (原始 + 校对) 对来确定来源。通过同时看到原始文本和修复尝试，分类器能够学习到文本变化程度的细微模式。

实验与结果

为了验证 SimLLM，作者使用 XSum 数据集 (新闻文章) 进行了广泛的实验。他们针对十二种不同的大型语言模型进行了测试，以确保该方法不仅仅是过度拟合了某一种特定 AI 的风格。

模型

研究涵盖了广泛的模型，从 GPT-4 等专有巨头到 LLaMa 和 Mistral 等开源模型。

表 1: 关于用于文本生成的大型语言模型的详细信息。

表 1 列出了所使用的模型库。这种多样性至关重要，因为不同的模型具有不同的“优化”风格。一个仅适用于 ChatGPT 的检测器在充满开源替代品的世界中用途有限。

性能对比

研究人员将 SimLLM 与几个基线进行了比较，包括:

  • RoBERTa (RoB-base/large): 标准的监督分类器。
  • LogRank / Entropy / Log p(x): 零样本统计方法。
  • DetectGPT: 一种通过扰动文本来检查概率曲率的流行方法。
  • BART: 仅使用原始相似度分数，没有拼接/分类步骤。

结果非常明显。

表 2: 使用单个大型语言模型检测生成的文本。

表 2 展示了 ROC 准确率 (0.5 为随机猜测，1.0 为完美检测) 。

  • 传统方法失效: 注意像 log p(x)、Rank 和 Entropy 这样的列。它们的分数徘徊在 0.50 到 0.55 之间。这实际上意味着，在检测类同的、句子级别的生成文本时，这些方法并不比抛硬币强多少。
  • SimLLM 占据主导地位: SIMLLM 列始终显示最高分，平均达到 0.889 。 对于像 ChatGPT (0.916) 和 Yi (0.947) 这样的著名模型，检测率极高。
  • 基线模型: Baseline 模型 (纯粹在文本上训练的 RoBERTa 模型，没有校对步骤) 表现尚可 (0.837) ，但始终被 SimLLM 超越，证明“校对”版本增加了有价值的信号。

鲁棒性: 样本量

深度学习分类器的一个常见问题是它们需要成千上万个示例才能良好工作。研究人员测试了 SimLLM 在训练样本量变化时的表现。

图 5: 通过改变样本大小来检测生成的文本。

图 5 显示了性能曲线。

  • 蓝线 (BART): 这仅使用原始相似度分数。它是平坦的。增加更多数据没有帮助，因为它只是一个阈值方法。
  • 红线 (SimLLM): 它起步强劲，并随着样本增加迅速提高，在 4,000 个样本时达到 90% 以上的准确率峰值。它始终保持着比基线 (绿线) 高出约 8% 的差距。

跨模型泛化能力

AI 检测的一个主要挑战是“黑盒”问题。如果你不知道是哪个 AI 写了这段文本怎么办？你能在 ChatGPT 上训练但检测 LLaMa 吗？

表 4: 通过在多个大型语言模型上训练来检测生成的文本。

表 4 探讨了这些“多模型”场景。

  • 测试集 \(\notin\) 训练集: 即使生成测试文本的模型没有包含在训练集中 (例如，在 ChatGPT 上训练，在 Yi 上测试) ，SimLLM (最右列) 仍保持高准确率 (第一行约为 0.858) 。
  • 观察: 这表明“优化差距”——即 AI 改变人类文本的程度超过改变 AI 文本的倾向——是大型语言模型的一个普遍属性，而不仅仅是某种特定架构的怪癖。

严苛场景: 攻击与变体

现实世界的用户会试图欺骗检测器。他们可能会改写文本，改变生成的温度 (随机性) ，或使用要求“相反含义”的提示词。

表 5: 在各种场景下检测生成的文本，包括由不熟悉的提示产生的具有相似或相反含义的文本、不同温度设置下生成的文本、源自不同领域的文本以及经过改写修改的文本。

表 5 展示了 SimLLM 的韧性。

  • 改写攻击 (Paraphrase Attack) : 即使当用户明确要求 AI “改写”文本以掩盖踪迹时，SimLLM 仍能达到 0.901 的准确率。
  • 温度与提示词: 无论是使用高随机性生成的文本，还是使用“相反含义”的提示词，SimLLM 都保持稳定。BART 方法 (原始相似度) 在“相反”场景中崩溃 (0.544) ，这可能是因为语义发生了剧烈变化，混淆了简单的相似度指标。SimLLM 的分类器学会了处理这种关系。

它够快吗？

最后，为了使方法实用，它不能运行得太慢。例如，DetectGPT 以计算昂贵著称，因为它需要多次模型传递。

表 6: 检测大约 1,000 个单词的人类编写和 ChatGPT 生成文本的运行时间。

表 6 细分了运行时间。

  • DetectGPT: 耗时超过 3 分钟 (190 秒) 。
  • SimLLM: 耗时约 33.67 秒。
  • 细分: SimLLM 的大部分时间 (33.34秒) 花在等待 ChatGPT 的“校对”生成上。实际的检测逻辑是亚秒级的 (0.33秒) 。随着像 GPT-4o mini 这样的模型变得更快、更便宜，SimLLM 的实用性只会增加。

讨论与结论

SimLLM 论文在机器生成文本检测方面迈出了重要一步。通过将焦点从“这段文本看起来像什么？”转移到“AI 如何与这段文本互动？”，研究人员在噪声中找到了一个稳健的信号。

为何相似度指标很重要

选择用于比较原始句子和校对句子的指标至关重要。

表 7: 输入文本与其生成文本之间的相似度。输入文本包括由 ChatGPT 生成的人类编写 (H) 和机器生成 (M) 的句子。

表 7 比较了 BLEU、ROUGE 和 BART 分数。虽然 BLEU 和 ROUGE (计算单词匹配) 显示出高分，但 BART 分数 (衡量语义相似度) 提供了最清晰的区别。它捕捉到了 SimLLM 所依赖的细微差别。

与现有基准的比较

最后，作者在其他数据集上验证了他们的工作，以确保他们的发现并非仅限于 XSum 数据集。

表 11: 在现有数据集上检测生成的文本。

表 11 证实，在 MGTBench 和 GhostBuster 等数据集上，SimLLM 始终优于基线和简单的 BART 阈值方法。

关键要点

  1. 优化差距: AI 模型会显著优化人类文本，但对 AI 文本基本保持原样。这就是 SimLLM 利用的指纹。
  2. 句子级检测: 与许多需要长文档才能发现统计异常的方法不同，SimLLM 在句子级别上有效工作。
  3. 韧性: 该方法经受住了不同模型、改写攻击和不同提示词的考验，使其成为现实世界应用的强大工具。

随着我们向前发展，人类与机器创造力之间的界限将继续模糊。像 SimLLM 这样利用模型内在行为的工具，对于维持数字内容的透明度和信任将至关重要。