在大型语言模型 (LLM) 飞速发展的世界里，我们正在进行一场高风险的“猫鼠游戏”。随着像 GPT-4 这样的模型变得越来越复杂，它们模仿人类写作的能力已经达到了一种境界，使得区分人类作者和 AI 变得异常困难。

传统上，我们通过查看似然性 (likelihood) 来捕捉这些模型——本质上就是问: “这段文本的可预测性有多高？”但随着模型越来越好，它们不再犯旧检测方法所依赖的那种统计错误。它们开始“听起来”就像我们一样。

但是，如果我们不再关注选择了什么词，而是开始关注选择这些词的节奏呢？

在一篇引人入胜的新论文中，研究人员提出了 FourierGPT , 这是一种不将文本检测视为静态统计问题，而是将其视为信号处理问题的方法。通过对单词的似然性应用傅里叶变换，他们揭示了人类语言和 AI 语言在频域中有着截然不同的“心跳”——即使文本表面看起来完美无缺，这些差异依然清晰可见。

静态似然性的问题

要理解为什么需要这种新方法，我们需要先了解当前的检测是如何工作的。大多数最先进的检测器 (如 DetectGPT 或 Fast-DetectGPT) 都依赖于似然性或惊奇度 (surprisal) 的概念。

在心理语言学中，“惊奇度”衡量的是一个词在特定上下文中出现的意外程度。人类在分布信息时有一种特定的方式。我们不会让每个词都极具预测性，也不会让每个词都令人震惊。我们平衡认知负荷——这一概念被称为统一信息密度 (UID) 。

然而，现有的检测方法将似然性视为一种静态属性。它们计算 token 的概率，并寻找概率空间中的阈值或曲率。研究人员认为，这忽略了语言的动态本质。语言是一个随时间展开的过程。惊奇度的波动——即随着句子推进，可预测性的起伏——包含了隐藏的模式。

进入 FourierGPT: 似然性的频谱

这篇论文的核心创新在于将视角从时域 (逐个阅读单词) 转变为频域 (分析变化的频谱) 。

研究人员提出了一个三步流程来提取这些特征，他们称之为 FourierGPT。

FourierGPT 的流程 (上) 和示例 (下) 。

如图 1 所示，该过程如下:

  1. 估计: 将文本输入到一个“估计器”语言模型 (可以是像 GPT-2 这样的大模型，甚至是简单的二元语法 Bigram 模型) 中，以生成一系列原始似然性分数。
  2. 归一化: 这些原始分数被转换为 Z-score (相对似然性) 。这一点至关重要，因为它将检测与特定的词汇量大小或估计器模型的怪癖解耦。它专注于惊奇度的相对起伏。
  3. 傅里叶变换: 这是神奇的一步。似然性分数序列被视为一个波形。通过应用离散傅里叶变换 (DFT) ，研究人员将这个波分解为其组成频率。

这种变换的数学基础是:

()\nX ( \\omega _ { k } ) \\triangleq \\sum _ { n = 0 } ^ { N - 1 } \\tilde { s } _ { n } e ^ { - j \\omega _ { k } n }\n[

在这里，似然性的时间序列信号 (\(\tilde{s}_n\)) 被转换为频谱 \(X(\omega_k)\)。

为什么频谱很重要

为什么要这么麻烦？看看上面图 1 的下半部分。在“时域 (Time-Domain) ”中，蓝色 (模型) 和红色 (人类) 的线条看起来像是杂乱、重叠的噪声。很难画出一条线将它们分开。

然而，看看右边的“频域 (Frequency-Domain) ”。这里有清晰的分离。人类和机器在不同频率下的频谱“功率” (或强度) 存在显著差异。这表明，虽然 AI 可以模仿人类使用的词汇，但它很难模仿人类认知中固有的可预测性的微妙周期性波动。

分类: 识别机器人的两种方法

一旦研究人员获得了这种频谱，他们就开发了两种文本分类方法: 监督式方法和基于启发式的方法。

1. 监督式分类器

这种方法使用在频谱特征上训练的标准机器学习模型 (如支持向量机或 SVM) 。为了使分类器更稳健，他们使用了一种称为“循环化 (circularization) ”的技术——本质上是旋转数据以模拟更多的训练示例并放大微弱的周期性信号。

结果令人印象深刻。如下表所示，FourierGPT 取得了具有竞争力的准确率，特别是在 PubMed 数据集上。

表 2: 我们最佳监督分类器的准确率与 (Bao et al., 2024) 报告的其他基于似然性的零样本方法在选定的两个任务子集上的比较。最佳分数以粗体显示，\\(\\dagger\\) 表示第二佳。

这里值得注意的是在 PubMed 上的表现 (0.8267) 。PubMed 数据由专家的医学回答组成，通常较短且技术性较强。传统的零样本检测器通常在短文本上表现不佳，因为没有足够的数据点来构建可靠的统计特征。然而，即使在较短的序列中，FourierGPT 也能有效地捕捉信号特征。

2. 基于启发式的分类器 (零样本)

研究人员注意到了一个一致的模式: 人类和模型频谱在低频端存在显著差异。

图 2: 构建成对分类器的启发式方法: 似然谱在低频分量处显示出显著差异。曲线使用广义加性模型 (GAM) 拟合。阴影区域是来自 bootstrap 的 \\(9 5 \\%\\) 置信区间。

在图 2 中，你可以看到对于大多数模型 (如 GPT-3.5 和 GPT-3) ，模型文本 (蓝色虚线) 在低频处的频谱功率高于人类文本 (红色实线) 。这一观察结果允许一种“免训练”的分类方法。你不需要训练神经网络；只需计算频谱并检查低频功率是否超过特定阈值。

该启发式方法由以下不等式定义:

]\n\\left| \\sum _ { k = 1 } ^ { \\delta _ { k } } \\lVert X ^ { \\mathrm { H u m a n } } ( \\omega _ { k } ) \\rVert - \\sum _ { k = 1 } ^ { \\delta _ { k } } \\lVert X ^ { \\mathrm { M o d e l } } ( \\omega _ { k } ) \\rVert \\right| > \\varepsilon\n()

基本上，如果低频处的频谱功率差异 (\(\delta_k\)) 显著，我们就可以区分这两者。

效率: 你不需要超级计算机

当前检测方法的主要缺点之一是计算成本。它们通常需要通过大型语言模型 (LLM) 运行文本来计算曲率。

FourierGPT 打破了这种依赖。研究人员发现，即使使用二元语法 (Bigram) 模型 (一种只看成对单词的非常简单的统计模型) 作为估计器，他们也能获得最先进的结果。

表 4: 使用二元语法 (bigram) 语言模型似然谱的 FourierGPT 成对分类器的准确率。粗体数字表示性能优于 Fast-DetectGPT。

表 4 显示了一些了不起的结果: 在“Writing”数据集 (故事) 上，基于 Bigram 的 FourierGPT 达到了 90.67% 的准确率 , 超过了复杂的 Fast-DetectGPT。这意味着 AI 生成的独特“节奏”留下的痕迹非常强烈，以至于即使是原始的统计工具也能捕捉到它们，前提是你从频域去观察。

讨论: 我们实际上检测到了什么？

这篇论文不仅仅是报告准确率数字；它还调查了为什么存在这些频谱差异。本节揭示了一些迷人的心理语言学见解。

“Yes/No”模式

在 PubMed 数据集中，研究人员发现 AI 模型在提示为问题时，有强烈的倾向以“Yes”或“No”开始回答。人类，也许作为更谨慎或细致的专家，很少这样做。

图 3: (a) 从 PubMed 数据中删除回答中的“Yes”/“No”后似然谱的变化 ((a) 左) 和似然性-位置图的变化 ((a) 右) (仅由 GPT-4 估计) 。

当研究人员从句子开头去掉“Yes/No”时，人类和模型之间的频谱差距缩小了 (如图 3 所示) 。这表明高置信度的、陈述性的开头是当前 LLM 的一个特定“频率签名”。

稳健性与词性 (POS) 屏蔽

也许最深刻的发现与文本的稳健性有关。研究人员进行了一项实验，他们屏蔽了特定的词性 (POS) ——如名词、动词和形容词——然后重新计算频谱。

图 5: 屏蔽‘NOUN \\(+\\) VERB \\(+ .\\) ADJ’词性标记前后的似然谱。可以看出，GPT-4 文本在屏蔽前后显示出更大的变化，而人类文本显示出较小的变化。

图 5 展示了一个关键差异:

  • 人类文本 (右) : 当屏蔽 POS 标记时，频谱变化很小。“信号”是稳定的。
  • 模型文本 (左) : 频谱发生了显著变化。

这表明人类语言具有一种“稳定熵”或结构冗余，使其具有稳健性。我们构建句子的方式使得即使你错过了一个动词或名词，信息密度的整体“流向”仍然相似。而通过逐个 token 最大化似然性生成的 AI 文本似乎更加“脆弱”。被破坏的语言结构会导致其似然谱剧烈波动。

结论

AI 检测的“猫鼠游戏”将继续下去，但 FourierGPT 提供了一种令人耳目一新的战术转变。FourierGPT 不再试图通过预测老鼠的下一步 (绝对似然性) 来追逐它，而是聆听它的脚步声 (相对似然性的频谱) 。

通过将语言生成视为一个信号处理问题，研究人员表明:

  1. 相对似然性 (Z-scores) 揭示了绝对值所遗漏的模式。
  2. 频率分析甚至可以在短文本中区分 AI 和人类。
  3. 简单的估计器 (如 Bigrams) 出奇地有效，使得检测在计算上很便宜。

这项工作强调了生物智能和人工智能之间仍然存在的一个根本差异: 人类写作具有一种认知节奏，以一种模型——尽管它们很聪明——尚未完美掌握的方式平衡信息密度。