EMNLP 2024

[Do LLMs Overcome Shortcut Learning? An Evaluation of Shortcut Challenges in Large Language Models 🔗](https://arxiv.org/abs/2410.13343)

你的 LLM 在作弊吗？深入了解大型语言模型中的捷径学习

像 GPT-4、Gemini 和 LLaMA 这样的大型语言模型 (LLM) 已经席卷全球。我们惊叹于它们编写代码、创作诗歌以及进行复杂逻辑推理的能力。但 AI 研究界一直存在一个挥之不去的问题: 这些模型是真的理解了内容，还是仅仅擅长基于表面模式进行猜测? ...

[Do LLMs Know to Respect Copyright Notice? 🔗](https://arxiv.org/abs/2411.01136)

版权盲区：LLM 是否会无视提示词中的“保留所有权利”？

[Diversity Over Size: On the Effect of Sample and Topic Sizes for Topic-Dependent Argument Mining Datasets 🔗](https://arxiv.org/abs/2205.11472)

为何你需要更多的主题，而不仅仅是更多的数据：论点挖掘的新方法

在机器学习领域，有一句广为流传的口头禅: “数据越多越好。”如果你的模型表现不佳，标准的建议往往是向其投放更多的训练样本。但在自然语言处理 (NLP) 等专业领域，获取高质量的数据既不容易也不便宜。 ...

[Distributional Properties of Subword Regularization 🔗](https://arxiv.org/abs/2408.11443)

为什么你的分词器存在偏差（以及均匀采样如何修复它）

如果你曾经训练过现代自然语言处理 (NLP) 模型，你很可能使用过子词分词器 (subword tokenizer) 。无论是字节对编码 (BPE)、WordPiece 还是 UnigramLM，分词都是我们庞大的语言模型运行的隐形基础。我们通常将分词视为一个已解决的预处理步骤——一个将文本转换为 ID 的静态查找表。 ...

[Distractor Generation in Multiple-Choice Tasks: A Survey of Methods, Datasets, and Evaluation 🔗](https://arxiv.org/abs/2402.01512)

错误的艺术：AI 如何为多项选择题生成干扰项

如果你参加过多项选择题考试，你一定熟悉这样的流程: 阅读问题 (即题干 )，找出正确答案，并忽略其他选项。那些不正确的选项有一个专门的名称: 干扰项 (Distractors) 。 ...

[Distract Large Language Models for Automatic Jailbreak Attack 🔗](https://arxiv.org/abs/2403.08424)

AI 的特洛伊木马：分心机制如何越狱大语言模型

像 ChatGPT、Claude 和 LLaMA 这样的大语言模型 (LLM) 已成为写作、编码和分析的强大工具。为了确保这些工具的安全性，开发者投入了大量资源对它们进行“对齐”——训练它们拒绝有害请求，例如关于非法行为的指示或仇恨言论。 ...

[Distilling Knowledge from Text-to-Image Generative Models Improves Visio-Linguistic Reasoning in CLIP 🔗](https://arxiv.org/abs/2307.09233)

教会 CLIP “看见”——Stable Diffusion 如何修复视觉语言推理能力

如果你最近涉足过计算机视觉或多模态 AI 领域，那你无疑已经接触过 CLIP (Contrastive Language-Image Pre-training，对比语言-图像预训练) 。自 OpenAI 发布以来，CLIP 已成为现代 AI 图像系统的骨干。它为零样本分类、图像检索提供动力，并充当许多生成流程的“眼睛”。 ...

[Discovering Knowledge-Critical Subnetworks in Pretrained Language Models 🔗](https://arxiv.org/abs/2310.03084)

LLM 的脑外科手术：如何查找并移除特定知识

像 GPT-4 或 Llama 这样的大型语言模型 (LLM) 常被描述为“黑盒”。我们知道它们能工作——它们能写诗、调试代码，还能告诉你法国的首都是哪里——但我们并不完全理解它们如何存储这些信息。当 LLM“知道”咖啡馆是一种餐厅时，这个事实是存储在特定的神经元簇中吗？还是像涂在吐司上的果酱一样散布在整个网络中？ ...

[Direct Multi-Turn Preference Optimization for Language Agents 🔗](https://arxiv.org/abs/2406.14868)

超越单轮对话 —— DMPO 如何让直接偏好优化适应长程智能体任务

引言我们正见证着大型语言模型 (LLMs) 的一次范式转变。我们正在从“聊天机器人” (回答单个查询的模型) 转向语言智能体 (Language Agents) 。这些系统能够浏览网页购买产品、在模拟环境中进行科学实验，或管理复杂的工作流。 ...

[Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction 🔗](https://arxiv.org/abs/2410.18481)

逆向工程聊天机器人：Dialog2Flow 如何从对话日志中提取逻辑

引言: 对话的黑盒在飞速发展的人工智能领域，对话代理——从客户服务聊天机器人到复杂的虚拟助手——已变得无处不在。我们要每天与它们互动来预订航班、查询银行余额或解决技术问题。这些被称为任务导向型对话 (Task-Oriented Dialogs, TOD) 。 ...

[DiVERT: Distractor Generation with Variational Errors Represented as Text for Math Multiple-choice Questions 🔗](https://arxiv.org/abs/2406.19356)

学生为何会做错：AI 如何学会诊断并生成数学错题

如果你参加过数学选择题考试，你一定熟悉这种感觉: 你解出一道题，得出答案，然后查看选项。如果你的答案在其中，你就会圈出它。但是，如果你的答案是错的，但它仍然作为一个选项列在其中呢？ ...

[DetoxLLM: A Framework for Detoxification with Explanations 🔗](https://arxiv.org/abs/2402.15951)

超越删除：DetoxLLM 如何在保留原意的同时重写有毒语言

超越删除: DetoxLLM 如何在保留原意的同时重写有毒语言互联网的评论区可谓臭名昭著。从社交媒体动态到新闻文章讨论，有毒语言 (Toxic language) ——仇恨言论、骚扰和冒犯性的微侵略——是一个普遍存在的问题。传统的解决方案很简单: 审核。如果一条评论是有毒的，自动化系统会将其标记，然后删除或隐藏。 ...

[Detection and Measurement of Syntactic Templates in Generated Text 🔗](https://arxiv.org/abs/2407.00211)

超越词汇：揭示 LLM 输出中隐藏的句法模板

超越词汇: 揭示 LLM 输出中隐藏的句法模板如果你花了足够多的时间与像 GPT-4 或 Llama 这样的大型语言模型 (LLM) 交互，你可能已经注意到了它们生成的文本有一种特殊的“调性”。即使内容在事实层面是新的，或者具体的词汇是多变的，往往也有一种熟悉感——一种区别于人类写作的机械节奏或结构上的重复性。 ...

[Detecting Subtle Differences between Human and Model Languages Using Spectrum of Relative Likelihood 🔗](https://arxiv.org/abs/2406.19874)

FourierGPT：通过聆听概率的节奏来检测 AI 文本

在大型语言模型 (LLM) 飞速发展的世界里，我们正在进行一场高风险的“猫鼠游戏”。随着像 GPT-4 这样的模型变得越来越复杂，它们模仿人类写作的能力已经达到了一种境界，使得区分人类作者和 AI 变得异常困难。 ...

[Detecting Online Community Practices with Large Language Models: A Case Study of Pro-Ukrainian Publics on Twitter 🔗](https://aclanthology.org/2024.emnlp-main.1122.pdf)

解码互联网文化：LLM 能理解在线社区的细微差别吗？

引言如果你在社交媒体上花过时间，你就会知道一张柴犬的照片不仅仅是一张可爱的宠物照。在互联网的特定角落，它可能是一种政治声明、一种行动主义形式，或者是针对宣传的“当头一棒 (bonk) ”。同样，一条预测歌唱比赛获胜者的推文，实际上可能是在战时表达国家团结的隐晦方式。 ...

[Detecting Errors through Ensembling Prompts (DEEP): An End-to-End LLM Framework for Detecting Factual Errors 🔗](https://arxiv.org/abs/2406.13009)

DEEP：一种用于捕捉 LLM 摘要幻觉的新框架

像 GPT-4、Claude 3 和 LLaMA-2 这样的大型语言模型 (LLM) 彻底改变了文本生成领域。它们可以起草邮件、编写代码，并且——至关重要的是——能够总结海量信息。然而，尽管它们语言流畅，这些模型却存在一个顽固且危险的缺陷: 幻觉。它们经常生成听起来合理但完全是捏造的信息。 ...

[Dependency Graph Parsing as Sequence Labeling 🔗](https://arxiv.org/abs/2410.17972)

驯服图结构：如何将复杂的依存句法分析转化为简单的序列标注

引言在自然语言处理 (NLP) 的世界里，简单往往是一种美德，但现实却很少如此简单。多年来，研究人员一直致力于使句法分析 (Syntactic Parsing) ——即映射句子语法结构的任务——尽可能高效。其中最成功的方法之一是序列标注 (Sequence Labeling，或称打标签) 。如果你能将复杂的树结构简化为简单的标签序列 (每个词一个标签) ，你就可以利用标准的、高度优化的硬件和算法以闪电般的速度解析句子。 ...

[Dense X Retrieval: What Retrieval Granularity Should We Use? 🔗](https://arxiv.org/abs/2312.06648)

超越段落：为什么“命题”是 RAG 和密集检索的未来

如果你一直关注大型语言模型 (LLMs) 的爆发，你可能对检索增强生成 (Retrieval-Augmented Generation, RAG) 并不陌生。这是构建能够在训练数据之外“知晓”事物的 AI 系统的标准架构。其公式通常很简单: 用户提问，检索器从数据库 (如维基百科) 中搜寻相关的文本块，然后 LLM 基于这些文本块合成答案。 ...

[Demystifying Verbatim Memorization in Large Language Models 🔗](https://arxiv.org/abs/2407.17817)

为什么你的 LLM 守不住秘密：逐字记忆的科学原理

在大型语言模型 (LLM) 的世界里，机器中潜藏着一个幽灵。有时，像 GPT-4 或 Claude 这样的模型不仅仅是在生成新颖的文本，它们会逐字逐句地背诵特定的训练数据。这种现象被称为逐字记忆 (verbatim memorization) , 其范围从无伤大雅的 (背诵葛底斯堡演说) 到具有法律风险的 (复制受版权保护的代码或个人隐私信息) 。 ...

[Democratizing Large Language Models via Personalized Parameter-Efficient Fine-tuning 🔗](https://arxiv.org/abs/2402.04401)

属于你的大脑切片：利用 One PEFT Per User (OPPU) 实现大语言模型民主化

想象一下，你有一位跟了你十年的私人助理。当你让他们“给老板写封邮件”时，不需要扔给他们一本十页的风格指南，也不需要一堆你以前的邮件作为参考。他们就是知道你的语气。他们知道你喜欢用“Best regards”而不是“Sincerely”，也知道你在周一往往言简意赅。 ...