EMNLP 2024

[Backward Lens: Projecting Language Model Gradients into the Vocabulary Space 🔗](https://arxiv.org/abs/2402.12865)

窥探正在学习的 AI 大脑：反向透镜

如果你一直在关注 GPT 和 Llama 等大型语言模型 (LLM) 的爆发，你可能对“前向传播 (Forward Pass) ”已经很熟悉了。这是一个模型接收提示词 (prompt) ，通过层层数学运算处理，最后输出预测结果的过程。我们已经非常擅长分析这一阶段。像“Logit 透镜 (Logit Lens) ”这样的工具允许我们窥探模型内部，看看它在第 12 层或第 24 层时在“思考”什么。 ...

[Back to School: Translation Using Grammar Books 🔗](https://arxiv.org/abs/2410.15263)

重返校园：用语法书教 AI 翻译被遗忘的语言

引言: AI 领域的语言鸿沟如果你要求像 GPT-4 这样的现代大型语言模型 (LLM) 将一个句子从英语翻译成法语，其结果往往与人工翻译难辨真假。该模型在训练期间见过数十亿个法语单词。它“懂”法语。 ...

[BPO: Staying Close to the Behavior LLM Creates Better Online LLM Alignment 🔗](https://arxiv.org/abs/2406.12168)

为何你的 AI 需要紧贴自身行为：深入解读 BPO

将大型语言模型 (LLM) 与人类价值观对齐是现代人工智能中最关键的挑战之一。我们希望模型能够乐于助人、无害且简洁。很长一段时间以来，实现这一目标的黄金标准是基于人类反馈的强化学习 (RLHF) 。然而，如果你曾尝试过训练 RLHF 流程，就会知道其中的痛苦: 它涉及训练一个独立的奖励模型，处理复杂的强化学习不稳定性，并管理巨大的计算成本。 ...

[BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training 🔗](https://arxiv.org/abs/2409.04599)

清理词表：Picky BPE 如何通过移除垃圾 Token 改进语言模型

大型语言模型 (LLM) 通常被视为黑盒，但其基础在于一个出奇简单的过程: 分词 (tokenization) 。在模型能够理解“人工智能”之前，必须将文本分解成更小的块，即 Token (词元) 。多年来，行业标准一直是字节对编码 (BPE) ，这是一种可靠的算法，可将频繁出现的字符合并为子词。 ...

[BMRETRIEVER: Tuning Large Language Models as Better Biomedical Text Retrievers 🔗](https://arxiv.org/abs/2404.18443)

BMRetriever：如何教大语言模型掌握生物医学搜索

引言在人工智能飞速发展的今天，像 GPT-4 和 Llama 这样的大语言模型 (LLMs) 已是家喻户晓。我们通常将它们视为生成引擎——能够创作诗歌、代码或邮件的工具。然而，在医学等专业领域，生成文本只是战斗的一半。另一半——也许是对准确性更为关键的一半——是检索。 ...

[BLSP-Emo: Towards Empathetic Large Speech-Language Models 🔗](https://arxiv.org/abs/2406.03872)

言外之意：通过 BLSP-Emo 教 AI 听懂情绪

你是否有过这样的经历: 告诉朋友“我没事”，但你的语气却清楚地表明你一点也不好？一个好朋友会立刻捕捉到这种语气。他们处理的不只是“没事”这几个字，还有你声音中的音高、迟疑和沉重感——即副语言线索 (paralinguistic cues) ——并做出充满同理心的回应。 ...

[BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models 🔗](https://arxiv.org/abs/2406.17092)

揭开特洛伊木马的面纱：BEEAR 如何保护 LLM 免受隐藏安全后门的侵害

简介在快速发展的大语言模型 (LLM) 世界中，安全至关重要。我们投入了大量资源用于基于人类反馈的强化学习 (RLHF) 和安全对齐，以确保模型拒绝制造炸弹或生成仇恨言论的请求。然而，在这个安全的表象之下，潜伏着一个险恶的漏洞: 安全后门。 ...

[BC-Prover: Backward Chaining Prover for Formal Theorem Proving 🔗](https://aclanthology.org/2024.emnlp-main.180.pdf)

逆向思维：BC-Prover 如何教会大语言模型解形式化数学题

大语言模型 (LLM) 在生成代码、总结历史甚至创作诗歌方面展现出了惊人的能力。然而，当涉及严谨的数学推理——特别是形式化定理证明时，它们往往会碰壁。在形式化数学的世界里，“差不多对”就等于“全错”。一个证明必须在逻辑上无懈可击，步骤分明，并且可以被计算机程序验证。 ...

[Autoregressive Pre-Training on Pixels and Texts 🔗](https://arxiv.org/abs/2404.10710)

无字阅读——PixelGPT 如何教会 AI “看”懂语言

引言在当前的人工智能领域，像 GPT-4 和 Llama 2 这样的大型语言模型 (LLMs) 无疑是无可争议的王者。它们编写代码、创作诗歌，并回答复杂的查询。但在引擎盖下，这些模型都有一个共同的限制: 分词 (Tokenization) 。 ...

[Autoregressive Multi-trait Essay Scoring via Reinforcement Learning with Scoring-aware Multiple Rewards 🔗](https://arxiv.org/abs/2409.17472)

给评分者评分：强化学习与 QWK 如何彻底变革自动作文评分

给作文评分是一项主观、微妙且令人筋疲力尽的工作。老师不会只盯着卷子说“10 分里给 8 分”。他们会同时评估结构、词汇、语法和内容。自动作文评分 (AES) 系统试图复制这一过程，但历史上它们一直面临一个巨大的技术障碍: 训练方式与评估方式之间的错位。 ...

[Automatically Generated Definitions and their utility for Modeling Word Meaning 🔗](https://aclanthology.org/2024.emnlp-main.776.pdf)

LlamaDictionary：当大语言模型变身动态词典

LlamaDictionary: 当大语言模型变身动态词典在自然语言处理 (NLP) 的世界里，我们面临着一点可解释性的问题。当最先进的模型处理一个单词时，它将其转换为向量——代表高维几何空间中该单词的一长串数字。虽然这些向量 (嵌入) 在数学上很强大，但对人类来说却是不透明的。如果你看一个向量，你无法“读出”模型认为这个词是什么意思。 ...

[Automatic sentence segmentation of clinical record narratives in real-world data 🔗](https://aclanthology.org/2024.emnlp-main.1156.pdf)

打破界限——如何在杂乱的临床数据中分割句子

打破界限: 如何在杂乱的临床数据中分割句子如果你曾尝试处理自然语言处理 (NLP) 项目的文本数据，你会知道第一步往往最具欺骗性。在你能够进行情感分析、命名实体识别 (NER) 或机器翻译之前，你必须回答一个简单的问题: 一个句子在哪里结束，下一个句子又从哪里开始? ...

[Automatic Instruction Evolving for Large Language Models 🔗](https://arxiv.org/abs/2406.00770)

超越人类启发式——Auto Evol-Instruct 如何自动化数据集创建

如果你一直在关注大语言模型 (LLM) 的爆发，你会知道其中的秘诀不仅仅在于参数的规模，还在于数据。具体来说，就是指令微调 (instruction tuning) 。这个过程将原始的文本预测器转变为能够遵循复杂命令的得力助手。 ...

[Automated Essay Scoring: A Reflection on the State of the Art 🔗](https://aclanthology.org/2024.emnlp-main.991.pdf)

超越记分牌：为什么自动作文评分需要新方向

想象一下，一位高中英语老师在周日晚上坐在书桌前。面前是 150 篇关于“计算机对社会的影响”的作文。批改每一篇至少需要 10 分钟。那仅仅为了一次作业就要花费 25 个小时。 ...

[AUTOSCRAPER: A Progressive Understanding Web Agent for Web Scraper Generation 🔗](https://arxiv.org/abs/2404.12753)

打造更强的机器人：AUTOSCRAPER 如何利用大语言模型自动化网络爬虫

数据是现代研究和商业分析的命脉。无论是追踪竞争对手的价格、聚合新闻，还是为机器学习构建数据集，从网络中提取结构化数据的能力——即网络爬取 (Web Scraping) ——是一项关键技能。 ...

[AutoPersuade: A Framework for Evaluating and Explaining Persuasive Arguments 🔗](https://arxiv.org/abs/2410.08917)

解码说服力：AutoPersuade 框架如何利用因果推断构建更好的论点

你如何改变一个人的想法？几个世纪以来，这个问题一直是修辞学家、政治家和哲学家的领域。在互联网时代，它变成了 A/B 测试的领地。公司和政治竞选团队生成数百种信息变体，展示给成千上万的人，并保留点击率或捐款数最高的那种。 ...

[Attribute or Abstain: Large Language Models as Long Document Assistants 🔗](https://arxiv.org/abs/2407.07799)

信任危机：教大语言模型在长文档中注明出处

我们生活在一个大语言模型 (LLM) 几秒钟就能总结一本书或分析一份法律合同的时代。然而，对于任何使用这些工具进行严肃研究或工作的人来说，一个令人头疼的问题始终挥之不去: 我能相信它吗？ ...

[Attribute Diversity Determines the Systematicity Gap in VQA 🔗](https://arxiv.org/abs/2311.08695)

数据多并非万能药：利用属性多样性解锁 AI 的系统性泛化能力

引言想象一下，你教会了一个孩子“红球”和“蓝立方体”的样子。如果你随后给他们看一个“红立方体”或“蓝球”，他们很可能立刻就能认出来。这种理解熟悉概念的新组合的能力被称为系统性 (Systematicity) , 或者叫组合泛化 (compositional generalization)。它是人类智能的基石。我们不需要看过宇宙中颜色和形状的所有可能组合，就能理解它们是如何搭配在一起的。 ...

[Atomic Self-Consistency for Better Long Form Generations 🔗](https://arxiv.org/abs/2405.13131)

超越“最佳”答案：原子自洽性如何通过融合真相来修正 LLM 幻觉

大型语言模型 (LLM) 彻底改变了我们与信息交互的方式。我们要它们写代码、解数学题，以及解释复杂的历史事件。然而，任何深入使用过这些模型的人都知道它们有一个明显的弱点: 幻觉 (hallucination) 。它们在陈述完全错误的事实时，语气可能听起来无比自信。 ...

[Atomic Inference for NLI with Generated Facts as Atoms 🔗](https://arxiv.org/abs/2305.13214)

用 FGLR 解锁黑盒：生成的事实如何让 AI 推理变得透明

在自然语言处理 (NLP) 快速发展的世界里，我们面临着一个反复出现的“黑盒”困境。我们拥有能够阅读复杂段落并准确回答相关问题的模型，但我们很难知道它们为什么会选择某个特定的答案。 ...