](https://deep-paper.org/en/paper/2412.08985/images/cover.png)
想象一下，一名学生问 AI 辅导员: “世界上人口最多的国家是哪个？”
如果 AI 仅依靠其内部训练数据 (许多模型的知识截止日期大约在 2022 年或 2023 年) ，它可能会自信地回答: “中国。”然而，截至 2023 年年中，印度已经超过了中国。如果这名学生正在学习一本最新的地理教科书，书中明确指出“印度是人口最多的国家”，那么在这个课堂背景下，AI 的回答就是错误的。
这个场景凸显了教育技术中的一个关键矛盾: 参数化知识 (模型在训练期间学到的内容) 与 上下文知识 (教科书等权威来源) 之间的冲突。
在 K-12 教育 (基础教育) 中，教科书就是真理的来源。即使某个科学理论被简化了，或者某个历史事件是为了特定课程而进行了解读，教育 AI 也必须严格遵循这些特定的材料。为了解决这个问题，开发者使用了 检索增强生成 (RAG) 系统，该系统在回答之前会先查阅相关的教科书页面。
但是，当教科书内容与 AI 的内部记忆发生冲突时会发生什么？AI 是固执地坚持它的训练数据，还是会做出调整？
一篇题为 “KNOWSHIFTQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?” (KNOWSHIFTQA: 当 K-12 教育中的教科书知识发生变动时，RAG 系统的鲁棒性如何？) 的最新论文研究了这一问题。研究人员引入了一个新颖的数据集，旨在对 AI 系统处理“知识变动”——即提供的文本中的事实与模型预训练的世界观不同——的能力进行压力测试。
如图 1 所示，差异可能源于过时的数据、地区差异或教学方法的更新。研究结果令人惊讶，并暴露了当前 AI 系统中存在的一个显著脆弱性。
K-12 问答面临的挑战
在标准的自然语言处理 (NLP) 任务中，“幻觉”通常指 AI 凭空捏造内容。然而，在教育领域，“幻觉”也可能指 AI 背诵了一个在现实世界中技术上正确、但与所教授的特定课程相矛盾的事实。
教育问答 (QA) 有一个严格的要求: 对源材料的忠实度。如果物理教科书使用的是简化的重力模型，AI 就不能引入章节中没有提到的复杂相对论修正来迷惑学生。
RAG 系统试图通过检索相关文档 (教科书的片段) 并将其与学生的问题一起提供给大型语言模型 (LLM) 来解决这个问题。理想情况下，LLM 阅读该片段并仅基于该文本进行回答。KNOWSHIFTQA 论文提出的问题是: 当文本明确反驳 LLM 的训练数据时，这一过程的鲁棒性如何?
方法论: 模拟知识变动
为了系统地测试这一点，研究人员不能依赖随机错误或等待现实世界的事实发生变化。他们需要一个受控环境。他们创建了 KNOWSHIFTQA , 这是一个包含 3,005 个问题的数据集，涵盖五个学科: 物理、化学、生物、地理和历史。
这篇论文的核心创新在于 假设性知识更新 (Hypothetical Knowledge Update) 。 研究人员选取高质量的开源教科书，系统地修改特定事实，以创造看似合理但属于“替代”的真理。这模拟了一种知识变动，即教科书 (上下文) 与 LLM 内部记忆 (参数) 不同。
数据是如何创建的
如下所示的数据构建流程包括从教科书中提取知识三元组 (例如，线粒体 -> 产生 -> ATP) ，然后将三元组的宾语修改为新的假设值。
至关重要的是，他们不仅仅是改变一个词。他们重写了周围的上下文，以确保段落保持连贯并与新的“事实”一致。
例如，考虑一个关于“嗜盐菌” (在原本定义中是在高盐浓度环境中茁壮成长的生物) 的生物学问题。研究人员进行了一次假设性更新，将特征从“嗜盐”改为“嗜压”。
如表 5 所示，文本被修改为: 嗜盐菌现在被描述为喜欢压力，生活在马里亚纳海沟而不是死海。如果问 AI: “嗜盐菌生活在哪里？”，一个依赖其内部生物学训练的模型会说“高盐环境”。而一个正确使用 RAG 系统的模型应该回答“高压环境”。
问题分类学: 测试推理能力
研究人员不仅仅问简单的回忆性问题。他们设计了一个分类体系来测试不同的认知水平，特别关注 上下文利用 (模型能找到事实吗？) 和 知识整合 (模型能利用新事实进行推理吗？) 。
- 简单直接 (Simple Direct) : 答案在检索到的文本中明确陈述。
- 多跳直接 (Multi-hop Direct) : 模型必须连接文本中的两条信息才能回答。
- 多跳远距离 (Multi-hop Distant) : 所需的事实位于文档中相距较远的位置，要求模型扫描整个上下文。
- 多跳隐式 (Multi-hop Implicit) : 这是最难的类别。问题询问的是一个未被修改的事实，但得出答案的推理路径涉及被修改的事实。模型必须将新的“虚假”知识与其自身的内部逻辑结合起来得出答案。
- 远距离隐式 (Distant Implicit) : 远距离上下文检索和隐式推理的结合。
例如，如果教科书更新为“牛顿发现了相对论” (假设性更新) ，一个隐式问题可能会问: “哪个理论与被落下的苹果砸中的科学家有关？”模型必须回忆其内部知识 (牛顿 = 苹果) ，然后接受上下文更新 (牛顿 = 相对论) ，并回答“相对论”。如果它回答“万有引力”，那就说明它未能整合知识变动。
实验: RAG 系统能适应吗？
研究人员测试了各种检索方法 (找到正确的页面) 和各种 LLM (生成答案) 。
1. 检索性能
在 AI 能够回答之前，它必须找到正确的信息。该研究比较了 词汇检索 (如 BM25 的关键词匹配) 与 稠密检索 (如 Contriever 或 OpenAI 的 Ada-002 的向量嵌入) 。
表 2 中的结果具有启示性。传统的词汇方法 (BM25) 表现出奇地好，经常击败或匹敌复杂的稠密检索器。
为什么？在 K-12 教育中，问题通常包含特定的学术术语 (例如，“光合作用”、“凡尔赛条约”) 。精确的关键词匹配在这里非常有效。寻找语义含义的稠密检索器有时会偏离太远。然而，当稠密模型专门在这个教育数据集上进行微调 (Contriever (fine-tuned)) 时，它们取得了最佳性能。
2. 问答性能
最关键的发现涉及 LLM 本身的鲁棒性。研究人员测量了不同模型系列的准确性，包括 Llama-3、GPT-4 和 Mistral。
表 3 显示了一个清晰的趋势: 像 GPT-4-turbo 和 Claude-3.5-sonnet 这样“更聪明”的模型通常表现更好。但是，请看 多跳隐式 (Multi-hop Implicit) 一栏。性能普遍显著下降。
虽然模型擅长简单地复述一个改变后的事实 (简单直接) ，但它们很难利用那个改变后的事实进行 推理 。 它们难以将一条“新”的上下文知识 (例如，“嗜盐菌喜欢压力”) 与它们“旧”的参数化推理 (例如，一般生物学原理) 无缝整合。
3. 性能下降
终极测试是比较知识变动 之前 和 之后 的性能。研究人员在原始真实事实以及假设性更新后的事实即上运行了 RAG 系统。
表 4 展示了显著的性能退化。当知识发生变动时，准确率下降了 22% 到近 27% 。
这对教育软件来说是一个巨大的可靠性问题。这意味着，如果一本教科书讲授的内容与 AI 的训练数据相矛盾 (这在简化的 K-12 课程中经常发生) ，AI 有四分之一的几率会忽略教科书并给出“错误” (或者更确切地说，不忠实) 的答案。
它们为什么会失败？
论文表明，LLM 表现出一种形式的“认知失调”。更强的模型通常有更强的先验知识——它们对自己的内部知识更加自信。
有趣的是，在一些简单问题上，最先进的模型有时表现得比小模型 更差，因为它们“聪明反被聪明误”。尽管指令要求依赖提供的上下文，但它们基于训练识别出假设性事实是“虚假”的，并拒绝采纳它。这凸显了 事实性校准 (对现实世界诚实) 与 指令遵循 (对提供的文本忠实) 之间的冲突。
在教育环境中，指令遵循必须优先。AI 的角色是所提供课程的辅导员，而不是普遍真理的仲裁者。
结论与启示
KNOWSHIFTQA 论文为 RAG 在教育领域的现状提供了一个冷静的审视。虽然 RAG 常被吹捧为解决 LLM 幻觉的方案，但这项研究表明，仅仅检索到正确的文档是不够的。
如果检索到的文档与模型的训练相冲突，模型往往无法整合该信息，尤其是在复杂的推理任务中。
主要收获:
- RAG 在知识变动下是脆弱的: 当教科书事实与训练数据不同时，准确率下降 25% 是一个重大障碍。
- 词汇检索在教育科技中仍是王者: 别急着扔掉 BM25；在教科书中，精确的术语比语义氛围更重要。
- 知识整合是瓶颈: 模型可以找到文本，但它们很难“更新”其心智模型以基于新的、矛盾的信息进行推理。
对于构建下一代 AI 辅导员的开发者来说，信息很明确: 确保模型能够灵活地将上下文置于记忆之上，与让它们变得“更聪明”同样重要。在那之前，学生们可能会发现他们的 AI 辅导员在纠正他们的教科书——即使教科书才是对的。