NIFTY：如何利用被拒绝的智能回复增强 AI 写作能力

你是否曾打开一封邮件或聊天信息，看到屏幕底部那些小小的“智能回复”气泡？它们提供诸如“听起来不错！”或“我会看看。”这类快速的罐头式回复。

有时，它们很有帮助。但通常情况下，它们完全偏离了重点。你会忽略它们，开始手动输入自己的回复。

在 AI 研究领域，那一刻——即你看着建议并决定不去点击它们——通常被视为死胡同。这是一次失败的交互。然而，来自诺丁汉大学和诺基亚贝尔实验室的研究人员 Benjamin Towle 和 Ke Zhou 对此有不同的看法。他们将这种拒绝视为一种有价值的信号。通过忽略这些建议，你实际上是在含蓄地告诉系统你不想说什么。

在他们的论文 《Enhancing AI Assisted Writing with One-Shot Implicit Negative Feedback》 (利用单次隐式负反馈增强 AI 辅助写作) 中，作者介绍了一个名为 NIFTY 的系统。这是一种巧妙的方法，它获取这种“负反馈” (即忽略智能回复的行为) ，并利用它来引导生成式 AI 模型写出更好的草稿。

本文将探讨 NIFTY 的工作原理、“分类器引导” (classifier guidance) 背后的数学原理，以及为什么从错误中学习对 AI 而言与对人类一样重要。

问题: 各自为政的系统

要理解这里的创新之处，我们首先需要看看 AI 中介沟通 (AI-mediated communication, AI-MC) 的现状。目前，AI 主要通过两种方式帮助我们沟通:

1. 智能回复系统 (Smart Reply Systems) : 这些是基于检索的。它们查看传入的消息，并从预先写好的罐头回复数据库中提取最佳匹配。它们速度快但比较死板。
2. AI 写作助手 (AI Writing Assistants) : 这些是生成式模型 (如 GPT 或 T5) 。它们逐个 token 生成文本。它们灵活且富有创造力，但计算量更大。

在大多数应用中，这两个系统是在孤岛中运行的。如果你不点击智能回复，系统基本上就是耸耸肩，等着你打字。如果你随后使用 AI 写作助手 (比如自动补全功能) ，该助手通常会从零开始，完全不知道你刚刚拒绝了一组由智能回复系统建议的特定意图。

这是一个错失的机会。如果智能回复建议“不，我去不了”，而你没有点击它，AI 写作助手应该知道你的意图可能不是拒绝邀请。

提议的工作流程

研究人员提出了一种流程，让这两个系统能够相互对话。

如图 1 所示，工作流程发生了变化:

1. 传入消息: 一位客户问: “我想退掉这件衬衫。”
2. 智能回复: 系统建议回复: “地址是什么？”或“您想买一件不同的衬衫吗？”
3. 用户操作: 客服 (用户) 忽略了这些建议，因为他们实际上需要询问收据。
4. 隐式负反馈: 这种拒绝行为被传递给 AI 写作助手 。
5. NIFTY 生成: AI 写作助手生成回复，并特意避开被拒绝的智能回复中包含的意图。

结果如何？模型生成了“您有收据吗？”，而不是产生幻觉给出随机回复或重复那些糟糕的建议。

核心方法: NIFTY

NIFTY 代表 Negative Implicit Feedback from SmarT replY (来自智能回复的隐式负反馈) 。

这里的工程挑战在于“异构性”。智能回复系统通常输出句子列表或嵌入向量，而生成式模型输出词汇表 token 的概率分布。你如何强制生成式模型“听取”用户忽略了检索模型这一事实？

作者使用分类器引导 (Classifier Guidance) 解决了这个问题。

1. 标准生成器

首先，让我们看看标准的 AI 写作模型是如何工作的。它是一个自回归模型。它根据输入消息 (\(m\)) 和目前已生成的所有单词 (\(r_{

从数学上讲，生成完整回复 \(r\) 的概率是每个 token 概率的乘积:

这个模型 (\(\Theta\)) 只想写出流畅、可能出现的文本。它对用户拒绝其他想法一无所知。

2. 添加分类器引导

为了注入“负反馈”，作者并没有重新训练庞大的生成器。相反，他们使用一个更小的、独立的模型——一个分类器——在运行时引导生成过程。

这是基于贝叶斯定理。我们希望计算在给定消息、历史记录以及特定控制属性 (\(c\)) 的情况下，某个 token (\(r_t\)) 的概率。

这个方程可以这样理解:

• \(\mathbf{p}_{\Theta}(r_t|m, r_{< t})\) 是生成器的意见 。 (例如，“我认为下一个词应该是‘不’。”)
• \(\mathbf{p}_{\Phi}(c|m, r_{\leq t})\) 是分类器的意见 。 它会问: “如果我们选这个词，我们满足条件 \(c\) 的可能性有多大？”
• 最终概率 \(\hat{\mathbf{p}}\) 是两者的结合。

如果生成器想说“不”，但分类器计算出说“不”违反了条件 \(c\)，组合概率就会下降，模型就会选择一个不同的词。

3. 定义条件 (\(c\))

关键问题是: \(c\) 是什么? 我们到底告诉模型要以什么为目标？论文探讨了两种方法，但事实证明基于意图的方法 (Intent-Based Approach) 是最强大的。

在这种方法中，系统首先识别被拒绝的智能回复的意图。假设被拒绝的建议是:

1. “退款已处理。” (意图: Booking-Inform)
2. “对此很抱歉。” (意图: General-Apology)

用户忽略了这些。因此，目标是生成一个具有不同意图的回复。

分类器被训练用于在句子被写出来的过程中预测其意图。在生成的每一步，系统都会寻找那个使得成为正确意图的概率最大化的意图 (\(z_j\)) ，并严格过滤掉那些出现在被拒绝建议中的意图 (\(\mathbf{z_s}\)) 。

简单来说: 系统会问，“在用户此时可能拥有的所有意图中，哪一个是最可能的，前提是排除他们刚刚拒绝的那些？”

实验设置

为了测试 NIFTY，作者无法立即使用真实用户，因此他们利用两个著名的对话数据集构建了一个强大的模拟环境: MultiWOZ 和 Schema-Guided Dialog (SGD) 。 这些数据集充满了客户服务交互 (预订酒店、火车、餐厅) 。

用户模拟器

他们创建了一个“用户模拟器”来模仿引言中描述的行为。

1. 模拟器查看真实回复 (数据集中人类实际所说的话) 。
2. 它查看智能回复建议。
3. 如果没有任何建议与真实回复的意图相匹配，模拟器就会“拒绝”它们。
4. 这个过滤后的数据集代表了智能回复失败的“困难案例”，这正是 NIFTY 旨在解决的案例。

请参阅下方的表 5 了解数据集统计信息。注意 MultiWOZ 中存在多少意图 (685 个意图) ——这使得任务极其困难，因为模型必须从数百个选项中选择正确的特定意图。

指标

研究人员使用了两个主要的自动化指标:

• ROUGE-L: 衡量生成的文本与真实文本之间的单词重叠程度。
• R@1 (Recall at 1): 衡量生成的回复是否具有正确的意图。在客户服务中，这通常比单词重叠更重要 (例如，说“我能帮忙”与“我该如何帮忙”在语义上是相同的，即使单词不同) 。

结果: 它有效吗？

结果非常显著。作者将 NIFTY 与几个基线进行了比较，包括标准的 AI 写作模型 (“Base”) ，以及试图对完成的句子进行“重排序”而不是逐词引导生成的方法。

定量性能

查看表 1 (上图的顶部部分) :

1. 意图准确率 (R@1): 这是一个巨大的胜利。在 MultiWOZ 数据集上，标准的 T5 基线模型意图正确率为 16.4% 。 NIFTY Intent 跃升至 28.5% 。 在 SGD 数据集上，它从 28.1% 变为 53.2% 。 这几乎是理解用户实际意图能力的 2 倍提升 。
2. ROUGE-L: 单词重叠分数也持续提高 (例如，在 SGD 上从 18.0 提高到 24.2) 。

该表比较了“动作 (Action) ”与“意图 (Intent) ”引导。“动作”意味着分类器只是试图预测“拒绝”。“意图”意味着分类器试图预测具体的下一个意图。 基于意图的方法明显更优，证明告诉 AI 用户为什么拒绝建议 (即“他们不想要意图 X”) 比仅仅告诉它“他们拒绝了建议”要好。

人工评估

像 ROUGE 这样的指标能告诉我们的信息有限。黄金标准是人类偏好。作者进行了一项盲测“胜率”研究 (上图中的表 3) 。

• 胜率: 当人类将 NIFTY 的输出与基线进行比较时，NIFTY 在 MultiWOZ 上赢得了 86% 的次数，在 SGD 上赢得了 78% 的次数。

定性示例

为了真正看到 NIFTY 的实际效果，让我们看看测试集中的一个具体对话。

在表 4 中，我们看到了一个棘手的场景:

• 上下文: 上一轮暗示了一次预订尝试。
• 建议: 智能回复系统认为预订失败了。它建议: “预订不成功”或“您想找另一家酒店吗？”
• 用户操作: 用户忽略了这些。
• 基线模型: 在没有引导的情况下，基线模型被上下文搞糊涂了，并产生了幻觉: “很抱歉，我无法为您完成那个。”它像智能回复一样假设失败了。
• NIFTY: 因为用户拒绝了“Booking-NoBook” (失败) 意图，NIFTY 推断相反的情况一定是真的。它生成了: “您的预订已成功。您的参考号是……”

这与目标 (真实情况) 完全一致。通过知道用户没有点击什么，NIFTY 避免了基线模型掉进的陷阱。

结论与启示

“NIFTY”论文为更好地整合我们日常使用的不同 AI 工具提供了令人信服的论据。它为学生和 AI以此业者强调了几个关键要点:

1. 数据无处不在: 我们通常认为训练数据是显式标签或正面点击。这篇论文表明，不作为 (不点击) 是一个经常被浪费的高信号数据点。
2. 解耦是关键: 作者并没有构建一个既做智能回复又做写作的巨大“超级模型”。他们保持系统分离，并使用轻量级的分类器将它们连接起来。这是良好的工程实践——它允许更新智能回复系统而不破坏 AI 写作模型，反之亦然。
3. 引导 > 重排序: 实验表明，逐个 token 地引导模型 (基于约束决定下一个词) 比生成五个句子并试图挑选最好的一个 (重排序) 效果要好得多。

随着 AI 助手变得越来越普及，从沉默、拒绝或犹豫等隐式线索中推断意图的能力，将标志着令人沮丧的聊天机器人与真正有用的助手之间的区别。NIFTY 是迈向那个更智能未来的重要一步。