大型语言模型 (LLM) 在生成过程性文本方面已经变得异常出色。如果你让最先进的模型生成一份烤蛋糕的食谱，它很可能会生成一份完全连贯的步骤清单: 混合干配料，打鸡蛋，将它们结合，然后在特定温度下烘烤。表面上看，模型似乎理解了这个过程。

但是，记住单词序列与理解将这些步骤联系在一起的因果逻辑之间存在显著差异。模型是否知道为什么必须在烘烤前混合面粉？它是否理解你可以在预热烤箱的同时切坚果，但不能在蛋糕冷却之前给它抹霜？

这种区别——即模仿结构与理解因果关系之间的区别——是近期一篇题为“CAT-BENCH: Benchmarking Language Model Understanding of Causal and Temporal Dependencies in Plans” (CAT-BENCH: 评估语言模型对计划中因果和时间依赖关系的理解) 的论文的重点。研究人员引入了一个新的基准，旨在对 LLM 在自然语言计划中推理时间和因果关系的能力进行压力测试。结果显示，虽然 LLM 可以编写食谱，但它们往往难以理解其中的基本依赖关系。

在这篇深度文章中，我们将探索 CAT-BENCH 的架构，分析像 GPT-4 和 Gemini 这样的顶级模型令人惊讶的失败案例，并讨论为什么像思维链 (Chain-of-Thought) 这样的标准提示技术在规划任务中可能无法像我们预期的那样发挥作用。

问题所在: 生成与理解

规划是人工智能决策的核心组成部分。传统上，AI 规划是在严格的模拟环境 (如代理堆叠积木的“Blocksworld”) 或使用 PDDL (规划领域定义语言) 等形式语言中进行研究的。虽然这些环境允许进行完美的逻辑检查，但它们并不能反映现实世界的混乱性。

现实世界的计划通常用自然语言表达——说明书、医疗指南和烹饪食谱。在现实世界中操作的代理需要理解“前置条件” (行动前必须为真的条件) 和“效果” (行动后变为真的结果) 。

研究人员提出，如果一个 LLM 真正理解一个计划，它应该能够识别步骤之间的时间依赖关系 。

• 依赖步骤 (Dependent Steps) : 步骤 A 必须发生在步骤 B 之前 (例如，吃香蕉前必须先剥皮) 。
• 独立步骤 (并行) (Independent Steps / Parallel) : 步骤 A 和步骤 B 可以以任何顺序发生，而不影响结果 (例如，切洋葱和切大蒜) 。

当前的 LLM 通常对线性存在“偏见”。因为它们被训练来预测下一个 token，它们倾向于假设仅仅因为步骤 1 写在步骤 2 之前，步骤 1 就导致了步骤 2。CAT-BENCH 的创建就是为了揭示这种启发式思维。

介绍 CAT-BENCH

为了严格测试这种能力，作者构建了 CAT-BENCH (因果和时间基准) 。他们利用了*食谱流程图语料库 (Recipe Flow Graph Corpus) *，这是一个包含 300 份英语烹饪食谱的数据集，这些食谱已被标注为有向无环图 (DAG) 。在这些图中，节点代表步骤，边代表依赖关系。

如果图中存在从步骤 \(i\) 到步骤 \(j\) 的路径，则它们是依赖的 。 如果不存在路径，则它们是独立的 (非依赖的) 。

利用这些数据，研究人员生成了涵盖 57 个独特计划的 4,260 个问题。这些问题是二元 (是/否) 问题，分为两类:

1. DEP (依赖) : 关于必须按特定顺序发生的步骤的问题。

• *例子: * “步骤 6 必须发生在步骤 8 之前吗？”
• *推理: * 测试对前置条件和效果的知识。

2. NONDEP (非依赖) : 关于独立步骤的问题。

• *例子: * “步骤 7 必须发生在步骤 6 之后吗？”
• *推理: * 测试对步骤独立性和并行执行的知识。

如图 1 所示，该基准隔离了特定的步骤对。在“杏仁粉巧克力蛋糕”的例子中，模型被问及步骤 6 是否必须在步骤 8 之前发生。正确的答案需要理解配料必须先放入碗中 (步骤 6) ，然后才能搅拌 (步骤 8) 。相反，加入杏仁和加入牛奶可以并行进行，使它们成为非依赖项。

该基准支持两个特定的评估任务:

1. 步骤顺序预测 (Step Order Prediction) : 一个二元分类任务 (是/否) 。
2. 步骤顺序解释 (Step Order Explanation) : 模型必须解释为什么存在 (或不存在) 依赖关系。

实验设置

研究人员测试了各种各样的模型，从开源选项如 Llama3-8B 到专有巨头如 GPT-4-Turbo、GPT-4o、Claude 3.5 Sonnet 以及 Gemini 1.5 系列。

他们探索了不同的提示策略，看看是否能引导模型进行更好的推理:

• (A): 仅回答 (Answer Only) 。 模型只需预测“是”或“否”。
• (A + E): 回答后解释 (Answer then Explain) 。 模型给出答案，然后提供推理。
• (E + A): 解释后回答 (Explain then Answer) 。 也称为思维链 (CoT) ，即模型先进行推理以指导其最终答案。

关键结果: LLM 的规划能力有多强？

结果令人惊讶地不尽人意。在一个平衡的数据集上 (随机猜测将产生 50% 的准确率) ，最好的零样本模型在仅提供答案时，很难显著突破随机概率。

1. “依赖性偏见”

最关键的发现之一是，LLM 严重偏向于预测存在依赖关系。它们通常假设步骤在文本中列出的顺序是唯一有效的顺序。

表 1 突显了这一困境。看 NONDEP 列 (关于独立步骤的问题) 。许多模型在 (A) 设置下的召回率 (R) 极低。例如, GPT-4o 的 NONDEP 召回率仅为 0.19 。

这意味着，对于答案为“不，这些步骤互不依赖”的问题，GPT-4o 在超过 80% 的情况下错误地回答了“是，它们依赖”。模型依赖文本的时间顺序作为因果依赖的启发式方法。

2. 解释能提高准确性

有趣的是，要求模型解释其推理 (A + E) 显著提高了所有模型的表现。

• Gemini 1.5 Pro 的 F1 分数从 0.55 (仅回答) 跃升至 0.73 (回答 + 解释) 。
• GPT-4o 从 0.49 跃升至 0.70 。

通过强制模型生成解释，似乎能让模型更好地基于食谱的上下文，帮助它克服简单的“文本顺序”启发式。然而，即使有了解释，0.73 的最佳 F1 分数表明，模型在近四分之一的时间里仍然弄错了因果逻辑。

3. 解释的人工评估

由于模型生成了解释，研究人员必须评估该文本的质量。他们聘请了人工标注员在 1 到 5 的李克特量表上对解释进行评分。

表 2 揭示了模型自信心与人类评估之间的脱节。

• MODAVG (修正平均值) 考虑了预测错误的情况。
• 分数徘徊在 2.6 到 2.9 (满分 5 分) 之间。
• 这表明即使模型是对的，它们的解释也往往很平庸。更糟糕的是，模型能够为完全错误的答案幻觉出听起来令人信服的解释。例如，Llama3-8B 经常为正确答案的反面进行辩护。

深度剖析: 鲁棒性和一致性

一个鲁棒的 AI 不应该仅仅因为提问方式不同就改变主意。研究人员引入了两个指标来衡量一致性。

时间一致性 (Temporal Consistency, TC)

如果一个模型说“步骤 A 必须发生在步骤 B 之前”，它逻辑上也应该说“步骤 B 必须发生在步骤 A 之后”。 如果模型对第一个问题回答“是”，对第二个问题回答“否”，那么它就是时间不一致的。

顺序对比一致性 (Order Contrastive Consistency, OCC)

这是一个巧妙的测试。对于 NONDEP (独立) 步骤，文本中的顺序并不重要。研究人员获取食谱并在输入文本中物理上交换了独立步骤的顺序 (例如，把“混合干配料”放在“混合湿配料”之后，即使它们是并行任务) 。 如果模型真的在推理计划，交换文本顺序不应该改变它关于依赖关系的答案。

表 3 显示了高度的不一致性。

• GPT-4o 具有尚可的时间一致性 (79.86%)，但顺序对比一致性非常糟糕 (47.96%)。
• 这证实了假设: 模型过度依赖句子在提示中的位置。 当研究人员交换句子顺序时，模型改变了关于依赖关系的答案，证明它并没有分析食谱的逻辑，而仅仅是单词的序列。

思维链的异常

论文中最令人惊讶的发现可能与思维链 (Chain-of-Thought, CoT) 提示有关。LLM 社区的普遍观点认为，“让我们一步步思考” (在回答之前进行推理) 会产生最好的结果。

然而，在 CAT-BENCH 上, 回答后解释 (A+E) 方法优于 解释后回答 (E+A/CoT) 。

如表 4 所示，虽然 CoT (E+A) 比仅回答 (A) 要好，但它落后于 (A+E)。为什么先推理会伤害模型？

研究人员发现，CoT 经常导致模型陷入幻觉 。 当被要求一步步推理时，模型有时会编造关于食谱的细节来支持线性叙述。

图 4 提供了一个鲜明的例子。模型声称步骤 10 不能发生在步骤 3 之后，因为“ 茄子需要被煮熟”。问题在于? 食谱里根本没有茄子。 这是一份扁豆汤食谱。思维链过程允许模型偏离源文本并幻觉出配料，从而导致错误的因果推理。

模型在哪里失败？错误分析

研究人员对模型未能识别依赖关系时的错误类型进行了分类。

1. 多跳依赖失败 (Multi-hop Dependency Failure)

模型难以处理逻辑的传递性 (A 导致 B，B 导致 C，因此 A 导致 C) 。

在图 5 (下框) 中，模型未能意识到冷却蛋糕 (步骤 10) 依赖于混合面粉 (步骤 2) 。它正确地指出冷却是在烘烤之后，但错过了烘烤需要之前的混合步骤这一更深层次的联系。

2. 距离偏见 (Distance Bias)

研究人员分析了文本中步骤之间的距离如何影响准确性。

图 8 展示了“距离偏见”。如果步骤在文本中相距较远 (Distant) ，模型更有可能预测存在依赖关系。它们假设如果步骤 1 在开始，步骤 20 在结束，它们必须是依赖的。生成解释 (红色条) 相比于仅回答 (蓝色条) 有助于显著减轻这种偏见，但这种倾向仍然存在。

结论: 理解的错觉

CAT-BENCH 对大型语言模型在规划领域的能力进行了一次现实检验。虽然 LLM 很流畅，可以复现计划的结构，但它们对底层逻辑——前置条件和效果的因果网络——的掌握是脆弱的。

给学生和研究人员的关键要点是:

1. 不要把流畅度误认为是逻辑: 仅仅因为计划看起来可读，并不意味着步骤在逻辑上是合理的。
2. 警惕线性偏见: 模型难以理解现实世界的行动可以并行发生；它们偏向于输入文本的顺序。
3. 提示词很重要: 对于这个特定任务，要求先回答后解释比标准的思维链效果更好，这可能是因为它在模型产生细节幻觉之前，将其限制在了二元决策上。
4. 验证是关键: 我们还不能依靠 LLM 自主验证关键计划 (如安全程序或化学合成) ，除非有人工监督或外部验证工具。

CAT-BENCH 提供了一种标准化的方法来衡量这一领域的进展。在模型能够在顺序对比一致性和 NONDEP 召回率等指标上获得高分之前，我们应该将它们的“规划”能力视为复杂的模式匹配，而不是真正的因果推理。