Papers

[Efficient Non-Local Contrastive Attention for Image Super-Resolution 🔗](https://arxiv.org/abs/2201.03794)

让每个像素都物尽其用：深入解析高效非局部对比注意力

你是否曾放大一张照片，结果只看到一团模糊、充满像素块的马赛克？将低分辨率 (LR) 图像转换为清晰、高分辨率 (HR) 杰作的探索，是单图像超分辨率 (SISR) 的核心挑战。这项技术应用广泛——从增强医学扫描以获得更准确的诊断，到为安全目的澄清监控录像。 ...

[SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning 🔗](https://arxiv.org/abs/2012.09852)

SpAtten：通过剪枝冗余语言，让 Transformer 更加“斯巴达”

引言: 注意力机制的难以忍受的缓慢基于 Transformer 的模型，如 BERT 和 GPT，已经彻底改变了自然语言处理 (NLP) ，在从情感分析到文本生成的各种任务上都取得了最先进 (state-of-the-art) 的成果。它们可以编写代码、总结文章，甚至进行令人惊讶的连贯对话。但这种强大的能力背后是高昂的代价: 计算成本。 ...

[MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention 🔗](https://arxiv.org/abs/2407.02490)

从 30 分钟到 3 分钟：MInference 如何将百万词元提示的 LLM 等待时间缩短

大型语言模型 (LLM) 正在迅速扩展能力边界，现在能够处理一百万甚至更多词元的上下文窗口。这带来了令人惊叹的应用场景——从理解整个代码仓库，到回答冗长法律文件中的细微问题，再到在庞大数据集上进行复杂推理。 ...

[Faster Causal Attention Over Large Sequences Through Sparse Flash Attention 🔗](https://arxiv.org/abs/2306.01160)

超越 FlashAttention：利用动态稀疏性让 Transformer 再提速

Transformer 几乎无处不在——从 ChatGPT 到代码补全助手，各类工具背后皆有它的身影——但它有一个众所周知的短板: 自注意力机制。随着输入序列变长，注意力计算量会呈二次方增长。序列长度加倍意味着计算量翻四倍。这一计算瓶颈使得在超长文档、高分辨率图像或庞大代码库上训练变得既困难又昂贵。 ...

[DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training 🔗](https://arxiv.org/abs/2310.03294)

解锁海量上下文：深入解读 DISTFLASHATTN

大语言模型 (LLM) 正迅速发展，其最令人期待的前沿之一就是上下文窗口的扩展。试想，一个 AI 能够一次性读完整本小说、完整代码库或冗长的财务报告，并在基于对全部内容的充分理解的前提下精准回答你的问题。这就是长上下文大语言模型的愿景——但训练它们面临着巨大的技术挑战。 ...

[FLASHMASK: EFFICIENT AND RICH MASK EXTENSION OF FLASHATTENTION 🔗](https://arxiv.org/abs/2410.01359)

FLASHMASK：用超高效注意力掩码驾驭长序列

从 ChatGPT 到 Gemini，Transformer 架构凭借注意力机制为现代人工智能提供了强大动力。注意力机制让模型能选择性地聚焦输入中的相关部分。然而，强大的能力也伴随着严重的瓶颈: 当序列长度扩展到整本书或庞大的代码库时，注意力的计算和内存需求会呈二次方级增长——输入长度翻倍，计算量翻四倍。这就是臭名昭著的二次方瓶颈。 ...

[FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision 🔗](https://arxiv.org/abs/2407.08608)

深入解析 FlashAttention-3：异步与 FP8 如何为 Transformer 加速

Transformer 架构是当今人工智能革命的核心动力，但它存在一个顽固的瓶颈: 注意力机制。随着我们推动更大的模型来处理整本书籍、大型代码库或数小时的视频，注意力机制的二次方复杂度成为主要的计算障碍。简单来说，输入越长，注意力机制越吃力——计算成本也随之飙升。 ...

[FLASHATTENTION-2: Faster Attention with Better Parallelism and Work Partitioning 🔗](https://arxiv.org/abs/2307.08691)

FlashAttention-2：为 Transformer 带来更迅捷、更高效的注意力机制

如果你一直关注大语言模型领域，就会知道其中一个重要目标是扩展上下文窗口。我们希望模型能阅读整本书籍、分析冗长的代码库或处理高分辨率图像。而主要的障碍是什么？正是 Transformer 架构核心的注意力机制。它的计算和内存成本会随着序列长度按二次方增长，使得长上下文变得异常昂贵。 ...

[FLASHATTENTION: Fast and Memory-Efficient Exact Attention with IO-Awareness 🔗](https://arxiv.org/abs/2205.14135)

FlashAttention：IO 感知是解锁长上下文 Transformer 的关键吗？

Transformer 已经彻底改变了机器学习领域，但它有一个众所周知的致命弱点: 自注意力机制。自注意力虽然极其强大，但其计算和内存成本会随着序列长度呈二次方增长。这种 \(O(N^2)\) 的复杂度一直是主要障碍，使得在长文档、高分辨率图像或长音频片段上训练模型的成本高得令人望而却步。 ...

[WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization 🔗](https://arxiv.org/abs/2507.15061)

超越猜测：WebShaper 如何以数学精度打造更聪明的 AI 网络智能体

引言: 精通网络的 AI 面临的数据瓶颈由大型语言模型 (LLM) 驱动的智能体正迅速从简单的聊天机器人演化为能够处理复杂、开放任务的先进数字助手。像 OpenAI 的 Deep Research、谷歌的 Gemini 和 Perplexity AI 这样的系统，能够浏览网页、从多个来源收集信息，并综合回答几年前还无法解决的问题。这一核心能力被称为**信息寻求 **(Information-Seeking, IS) ——它是驱动下一代人工智能的引擎。 ...

[WebWatcher: Breaking New Frontiers of Vision-Language Deep Research Agent 🔗](https://arxiv.org/abs/2508.05748)

WebWatcher：训练 AI 智能体像专业研究员一样看、读、推理

人工智能在研究领域正变得异常出色。像 OpenAI 的 DeepResearch 和 Google 的 Gemini 这样的系统，现在已经能够通过网页搜索、阅读文档和多步骤综合信息来解决复杂问题。这些深度研究智能体正在推动人工智能能力的边界。但它们有一个巨大的盲点: 几乎完全依赖文本。 ...

[CODE2VIDEO: A CODE-CENTRIC PARADIGM FOR EDUCATIONAL VIDEO GENERATION 🔗](https://arxiv.org/abs/2510.01174)

忘掉像素，生成代码：深入解读 Code2Video 如何创作教育视频

我们都见证了人工智能驱动的视频生成技术所取得的惊人飞跃。像 Sora 这样的模型，能将简单的文本提示转化为令人惊叹、媲美真实照片的视频片段。但当你需要创作的视频不仅要好看，还要能真正传授知识时，情况又会如何呢？ ...

[Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents 🔗](https://arxiv.org/abs/2504.00906)

Agent S2：AI 专家团队如何掌控你的电脑

想象一下，如果有一个 AI 助手能像人类一样使用你的电脑。它可以通过直接与图形用户界面 (GUI) 交互来预订你的旅行、根据你的笔记创建演示文稿，或者管理你的文件: 点击图标、在文本框中输入文字、拖动文件。这就是计算机使用智能体的愿景——这种自主 AI 系统有潜力自动化无数数字任务，并显著提升生产力。 ...

[THE UNREASONABLE EFFECTIVENESS OF SCALING AGENTS FOR COMPUTER USE 🔗](https://arxiv.org/abs/2510.02250)

一个智能体很好，十个更好：扩展策略如何解锁AI计算机助手的近人类性能

人工智能正变得越来越擅长使用计算机。我们现在拥有能够通过直接控制图形用户界面 (GUI) 来预订航班、管理电子表格和编辑照片的AI系统——就像人类用户一样。这些计算机使用智能体 (CUA) 有望自动化无数繁琐的数字任务。 ...

[EVOLUTION STRATEGIES AT SCALE: LLM FINE-TUNING BEYOND REINFORCEMENT LEARNING 🔗](https://arxiv.org/abs/2509.24372)

演化反击：一种出乎意料且强大的 LLM 微调方法

微调大型语言模型 (LLM) 是使其能有效解决特定现实世界任务的关键步骤。在模型于海量文本语料上完成预训练后，微调可以让它适应指令、对齐人类偏好，或掌握编程、医学、科学推理等专业领域技能。 ...

[It's Raw! Audio Generation with State-Space Models 🔗](https://arxiv.org/abs/2202.09729)

SASHIMI：用状态空间模型切分原始音频

生成逼真、高保真的音频是机器学习领域的一大难题。想一想原始音频波形是什么: 对于每一秒的声音，它是由数以万计的数字——即采样点——组成的序列。 ...

[Diffusion-based Time Series Imputation and Forecasting with Structured State Space Models 🔗](https://arxiv.org/abs/2208.09399)

超越缺口：深入解析 SSSD 在时间序列插补与预测中的应用

引言: 缺失时间的问题想象一下，你是一位医生，正在通过心电图 (ECG) 监测病人的心脏，但传感器突然出故障，丢失了几秒关键数据。或者，你是一位金融分析师，正在追踪股票价格，而数据源突然出现缺口。缺失数据不仅让人不便——它在现实应用中极为常见，可能破坏机器学习模型，引入偏差，并导致错误结论。 ...

[VideoMamba: State Space Model for Efficient Video Understanding 🔗](https://arxiv.org/abs/2403.06977)

超越 Transformer：VideoMamba 如何解锁高效的长视频理解

视频的世界正在爆炸式增长。从社交媒体上的短视频到完整的长篇电影，我们正在生成和消费比以往任何时候都多的视频内容。对于人工智能来说，真正理解这些内容是一项艰巨的任务。一个视频可以包含海量的时空信息——从细微的手势到长达数分钟的复杂叙事。 ...

[Hungry Hungry Hippos: Towards Language Modeling with State Space Models 🔗](https://arxiv.org/abs/2212.14052)

Pile 数据集上的饿饿河马：Transformer 王座的新挑战者

在过去几年里，Transformer 架构一直是语言建模领域无可争议的王者。从 GPT-3 到 PaLM，大规模 Transformer 模型重新定义了业界的顶尖水平。但这种强大力量是有代价的: 作为 Transformer 核心的注意力机制，其计算和内存开销随序列长度呈二次方增长。处理一个两倍长的序列需要四倍的计算和内存。这使得处理超长文档、代码库或音频文件成为一项重大挑战。 ...

[LocalMamba: Visual State Space Model with Windowed Selective Scan 🔗](https://arxiv.org/abs/2403.09338)

超越 Transformer：LocalMamba 如何释放状态空间模型在视觉领域的潜力

多年来，计算机视觉领域一直由两大架构巨头主导:** 卷积神经网络 (CNNs)** 和视觉 Transformer (ViTs)。CNN 通过滑动卷积核擅长捕捉局部特征，而 ViT 则利用自注意力机制来建模整个图像的全局关系。 ...