大语言模型 (LLM) 在理解海量文本方面已变得极其娴熟。给它们一份 100 页的文档，它们能够进行总结、回答相关问题，甚至“海底捞针”找到细节。但当你反过来，让它们去生成一份长篇、高质量的文档——例如一份详尽的报告、一则引人入胜的故事或一份法律陈述——它们往往会遇到困难。生成的内容可能在句子层面上连贯，但很快就会失去重点、出现重复，或者无法满足提示中具体而细微的要求。

问题的核心在于我们如何教这些模型写好文章。传统方法通常依赖稀缺的高质量人类写作示例，或在训练中使用笼统、粗粒度的反馈。模型可能因为“有帮助”或“连贯”而获得奖励，但这些都是粗糙的衡量方式。试想一下，你的指令是写一个欧·亨利式结尾的故事——这是一个极其具体的风格要求，而一个笼统的“有用性”评分根本无法捕捉到。

这正是新研究论文 “ACE-RL: Adaptive Constraint-Enhanced Reward for Long-form Generation Reinforcement Learning” 所要解决的问题。作者提出了一个巧妙的新框架，改变了训练范式。他们不再依赖主观、高层次的反馈，而是让模型去满足一个直接从用户指令中提取的、具体且可验证的约束清单。这相当于从“写一个好故事”转变为“写一个满足这 10 条具体标准的故事”。

这种方法——被称为 ACE-RL——不仅提高了长文本生成的质量，而且无需昂贵的、手工整理的偏好数据集。下面让我们深入了解它的工作原理。

对比图，展示了 ACE-RL 的细粒度、自适应奖励比现有方法的粗粒度奖励更有效。

图 1: 传统奖励机制 (中图) 关注相关性和有用性等宽泛的品质。ACE-RL (下图) 将指令分解为具体、细粒度的约束，从而产生更具针对性、更有效的奖励信号。

教导长文本写作的难题

在解析 ACE-RL 之前，让我们简要回顾训练 LLM 执行特定任务的两种主流方法——以及它们在长文本生成方面为何表现乏力。

  1. 监督微调 (SFT)
    就像让学生看成千上万篇范文，希望他们能总结出好文章的特征。将一个预训练的 LLM 在一个高质量的“指令-响应”对数据集上微调。问题在于，获取庞大、多样化的优秀长文本数据集极其困难且昂贵。更多时候，这些数据集由其他专有 LLM 合成，从而引入偏见和限制。SFT 本质上依赖模仿，其性能上限受制于训练数据的质量和覆盖面。

  2. 带偏好奖励的强化学习 (RL)
    更像是让老师比较两篇学生作文，并选出更好的一篇。一个 LLM 对同一提示生成多个响应，然后由一个“奖励模型” (通常是另一个 LLM 或人类) 给出基于偏好的评分。这是人类反馈强化学习 (RLHF) 的基础。虽然这种方法很强大，但通常依赖于对相关性、连贯性、有用性等品质的粗粒度、整体判断。就像欧·亨利的例子一样，这类笼统标签无法捕捉不同场景下定义高质量写作的具体、指令自适应细节。此外，它还需要海量偏好数据 (“好”与“坏”响应的成对比较) ，造成了昂贵的瓶颈。

作者们认为: 要真正掌握长文本生成，我们需要一种细粒度且指令自适应的训练信号。ACE-RL 正是为此而生。

ACE-RL 框架: 分步详解

ACE-RL 的核心是将评估写作质量的主观任务转化为一个约束验证的客观过程。该系统分为三个阶段:** 数据准备**、自适应约束构建和奖励引导的训练。

ACE-RL 的整体框架图，展示了从查询到约束清单生成的过程，以及包含策略模型和奖励模型的强化学习循环。

图 2: ACE-RL 工作流程。首先将指令分解为可验证的清单。策略模型生成响应 (rollouts) ，由奖励模型根据其满足每个约束的程度进行评分。这个奖励信号会用于更新策略模型。

第一步: 数据准备

研究人员使用 WildChat-1M 数据集 (涵盖真实世界的人机对话) ，筛选出需要长篇响应的查询 (如报告、故事、详细计划等) 。他们利用 Qwen3-235B 估算每个指令的目标字数，因为满足长度要求是评估成功与否的重要标准。

最终得到: 一个包含 32,000 条指令的高质量数据集，每条指令都带有明确的目标长度标签。

第二步: 自适应约束构建

这是关键环节。对于每条指令，团队会提示 LLM 扮演指令分析师的角色，将请求拆解成一个可验证的约束清单。每条指令包含:

  • 显式约束: 在提示中直接提出的要求 (例如，“使用两个最小的磁盘作为启动设备”) 。
  • 隐式约束: 基于上下文或领域知识推断的未明说要求 (例如，磁盘拓扑应支持高效存储和后续扩展) 。

一个示例，展示了用户的磁盘拓扑设计请求如何被分解为显式和隐式约束。

图 3: 真实场景中的约束分解。直接请求成为显式约束 (红色) ，潜在目标及最佳实践成为隐式约束 (绿色) 。

这样就将含糊的指令转化为具体、可测量的目标——非常适合作为强化学习的指导信号。

第三步: 奖励设计与强化学习训练

有了约束清单，最终任务就是利用 RL 训练策略模型。作者采用了 Group Relative Policy Optimization (GRPO)，但核心亮点在于奖励设计。

1. 长度奖励 (\(R_L\))
鼓励生成的长度接近目标长度 \(L_t\)。若响应长度 \(L_{\hat{y}}\) 在容忍范围 \(\Delta\) 内，则得分 1.0；否则分数按指数衰减:

\[ \delta = \frac{|L_{\hat{y}} - L_t|}{L_t} \]

\[ R_L(\hat{y}) = \begin{cases} 1.0 & \delta \le \Delta \\ \exp(-\alpha \cdot (\delta - \Delta)) & \delta > \Delta \end{cases} \]

2. 约束奖励 (\(R_C\))
由独立的验证 LLM 检查每个约束 \(c_i\)，评分规则为:

  • 1.0: 完全满足
  • 0.5: 部分满足
  • 0.0: 未满足

所有 \(N\) 个约束的平均得分为:

\[ R_C(\hat{y}) = \frac{1}{N} \sum_{i=1}^{N} s(\hat{y}, c_i) \]

总体奖励
最终奖励为:

\[ R(\hat{y}) = \frac{1}{2} \big( R_L(\hat{y}) + R_C(\hat{y}) \big) \]

这种精确、可验证的信号让 RL 在推动模型质量提升方面更有针对性。

实验与结果

团队训练了多种开源模型 (不同规模) ，并在 WritingBench 和 Arena-Write 基准测试中与多种基线模型对比。

用于 ACE-RL 的训练数据集统计信息。

表 1: 数据集平均要求生成长度较长且每条指令包含多个约束，非常适合稳健训练。

WritingBench: 优异表现

WritingBench 在六个领域 (学术、金融、文学等) 及三类要求 (风格、格式、长度) 上评估长文本写作能力。

各种 LLM 在 WritingBench 基准测试上的表现，显示了 ACE-RL 带来的显著提升。

表 2: 经过 ACE-RL 微调的模型 (高亮部分) 获得了最高分，超越了强大的基线模型、更大的模型以及 GPT-4o 等专有系统。

例如:

  • Qwen-2.5-7B: 57.04 → **78.57 **(ACE-RL 训练后)
  • Qwen-3-4B-thinking: 达到 82.56，超过大多数专有模型

这些结果显示，训练范式的重要性可以胜过模型规模。

Arena-Write: 一对一胜出

在 Arena-Write 中，每个模型的响应会与六个强劲基线进行一对一对比。

不同模型在 Arena-Write 基准测试上的胜、平、负率。

表 3: 经过 ACE-RL 训练的模型在直接对比中显著提高了胜率。

Qwen-3-4B-thinking ACE-RL 模型取得了 67.73% 的胜率，击败顶级竞争对手。

ACE-RL 胜出的原因

差异在于奖励信号的区分能力。传统裁判模型产生的分数往往集中，难以区分细微差别；ACE-RL 的多重检查验证带来了更高的奖励方差:

柱状图，比较了 LLM-as-a-Judge RL 与 ACE-RL 的奖励标准差，显示 ACE-RL 的奖励具有更高的方差。

图 4: ACE-RL 的奖励信号 (蓝色) 方差大于 LLM-as-a-Judge (黄色) ，因此更具区分力，对学习更有效。

效率与自我提升

ACE-RL 即使搭配较小的验证模型也依然表现出色。

性能比较图，显示即使使用较小的奖励模型，ACE-RL 依然有效。

表 5: 使用 4B 奖励模型的 ACE-RL 超越了使用 8B 奖励模型的 LLM-as-a-Judge 方法。

团队甚至测试了自我奖励场景: 模型自行验证自己的生成结果。即使在这种情况下，训练出的模型依然优于传统 RL 基线，显示了在缺乏更大监督者的情况下实现自我对齐的潜力。

与人类偏好的对齐

为了验证评测指标是否与人类判断一致，作者进行了人工评估:

人类评估结果，显示评估者强烈偏好由 ACE-RL 模型生成的响应。

图 5: 人工评估结果显示，评审员始终更偏好 ACE-RL 生成的内容，而非基础模型或 LLM-as-a-Judge 训练的模型生成的结果。

结论: 长文本生成的新路径

ACE-RL 在训练 LLM 执行复杂、细腻的写作任务方面取得了突破。通过用细粒度、指令自适应的约束取代笼统、主观的偏好评分，它实现了:

  1. 强约束优于模糊偏好: 将指令转化为约束清单，带来更清晰、更可靠的训练信号。
  2. 质量不依赖稀缺数据: 消除了对昂贵偏好数据集的依赖，实现了可扩展性。
  3. 训练范式胜于模型规模: 更优的训练方法可以超越体量更大的模型。

ACE-RL 指出了一条新路径: 让模型不仅仅是笼统地“有帮助”，而是根据复杂任务要求，做到精准且可验证的正确。