引言

在过去几年里，机器人领域经历了一场范式转变。我们正从设计用于完美执行单一任务 (如焊接车门) 的专用机器人，转向通用机器人策略 (generalist robot policies) ——这是一种能够跨越不同环境执行广泛任务的 AI 大脑。这些模型通常在 Open X-Embodiment 或 DROID 等海量数据集上训练，可以说是大型语言模型 (LLMs) 在物理世界的表亲。它们可以捡起水果、折叠衣物或打开抽屉，而且通常是在它们从未见过的场景中完成这些操作。

但随着这种能力的爆发，一个棘手的问题随之而来: 我们该如何准确衡量这些机器人的好坏?

在 LLM 领域，我们有 Chatbot Arena 这样的基准，用户可以向两个模型提问并投票选出更好的回答。然而，在机器人领域，评估是物理性的。它涉及硬件、物体、场景重置以及安全管理。传统的机器人基准测试依赖于严格的标准化——精确的灯光、特定的物体和固定的位置——以确保公平性。但这种僵化是通用性的敌人。如果我们只在一个单一的、标准化的实验室设置中测试机器人，我们就无法测试它们处理现实世界混乱局面的能力。

于是, RoboArena 应运而生。

Figure 1: We present RoboArena, a distributed real-world evaluation framework for generalist robot policies.

RoboArena 由加州大学伯克利分校、斯坦福大学和其他几所顶尖机构的研究人员提出，是一个旨在解决机器人评估可扩展性和多样性问题的新框架。RoboArena 没有试图对抗现实世界的变数，而是拥抱它。通过使用分布式的评估者网络和新颖的数学排名系统，它实现了在真实环境中对机器人策略进行可扩展的、双盲的比较。

在这篇深度文章中，我们将探讨 RoboArena 的运作方式、其排名系统背后的数学原理，以及它揭示了通用机器人策略的哪些现状。

问题所在: 标准化的陷阱

要理解为什么 RoboArena 是必要的，我们需要先看看目前机器人是如何被评估的。

机器人领域的“黄金标准”传统上是通过标准化实现的可重复性。如果研究员 A 声称他们的机器人有 90% 的概率能折叠好毛巾，研究员 B 需要能够复现这一结果。为了实现这一点，基准测试定义了每一个变量: 毛巾的颜色、桌子的高度、光照强度和摄像机角度。

虽然这对于检查特定算法很有效，但对于通用策略来说，它主要因两个原因而失效:

  1. 缺乏多样性: 一个策略可能在特定的“基准环境”中表现出色，但如果桌子颜色改变或灯光变暗，它就会失败。严格的标准化掩盖了脆弱性 (过拟合) 。
  2. 可扩展性瓶颈: 在不同机构之间复现完全相同的物理设置是一场后勤噩梦。它需要向世界各地运送相同的家具和物体。这限制了能够参与评估的人数。

随着机器人策略变得越来越强大，“标准化实验室表现”与“现实世界效用”之间的差距也在扩大。我们需要一种评估机器人的方法，它能够允许场景、光照条件和任务的多样性，同时又不牺牲统计上的严谨性。

RoboArena 框架

RoboArena 的核心理念是去中心化 。 既然无法将机器人带到标准化的测试中，我们就把测试带给机器人。

该系统基于众包、成对比较模型运行，类似于国际象棋中的 Elo 评分系统或 LLM 的 Chatbot Arena。协议运作如下:

  1. 分布式评估者: 该系统依赖于不同机构的用户网络 (学生、研究人员) 。每个用户都有一套机器人装置 (本文特指 DROID 平台) 。
  2. 环境自由: 评估者可以使用手头的任何桌子、背景、灯光或物体。他们自主选择任务 (例如，“把苹果放进碗里”) 。
  3. 双盲 A/B 测试: 评估者从中央服务器请求一对策略。服务器匿名发送两个策略 (策略 A 和策略 B) 。
  4. 执行: 评估者运行策略 A，然后将场景重置为尽可能接近初始状态，并在完全相同的任务上运行策略 B。
  5. 反馈: 评估者标记哪个策略表现更好，并提供文字解释。

关键在于，虽然环境在不同评估者之间各不相同，但在同一次成对比较中条件是保持不变的。这确保了 A 和 B 之间的比较是公平的，即使任务本身对该特定评估者来说是独一无二的。

硬件: DROID 平台

为了实例化这个框架，研究人员使用了 DROID 机器人平台。这种设置非常理想，因为它已经部署在许多大学中，形成了一个现成的分布式网络。

Figure 3: The DROID robot setup, which we use for the DROID-RoboArena evaluation system.

如图 3 所示，该设置包括一个 Franka Panda 机械臂、标准相机 (ZED Stereo) 和一个移动底座。机器人硬件的统一性是唯一的严格要求；周围的环境可以自由变化。

系统架构

RoboArena 的技术实现旨在对用户轻量化。

Figure 4: The DROID-RoboArena system consists of a pool of remotely hosted policy servers…

该系统 (图 4) 由四个部分组成:

  1. 策略池 (Policy Pool) : AI 模型 (策略) 托管在远程推理服务器上。这意味着用户不需要在本地机器上配备大型 GPU 来测试繁重的模型。
  2. 评估客户端 (Evaluation Clients) : 物理机器人以及人类评估者使用的界面。
  3. 中央服务器 (Central Server) : 该协调器将策略分配给客户端，并确保没人知道他们正在测试哪个模型 (盲法) 。
  4. 数据库 (Database) : 存储结果，包括视频日志、成功/失败标志和书面反馈。

核心方法: 数学排名

如果评估者 X 测试策略执行“捡硬币” (非常难) ，而评估者 Y 测试“推大箱子” (非常容易) ，我们该如何比较结果？简单的胜/负比率是不够的，因为它没有考虑到任务难度 。

这是 RoboArena 的数学核心。研究人员开发了一种扩展Bradley-Terry (BT) 模型的排名算法。

标准 Bradley-Terry 模型

在标准的 BT 模型 (用于体育队伍排名) 中，A 队击败 B 队的概率是其技能水平 (\(\theta\)) 差值的函数:

\[ P(A > B) = \sigma(\theta_A - \theta_B) \]

其中 \(\sigma\) 是 Sigmoid 函数。如果比赛总是一样的 (像标准的国际象棋棋盘) ，这很有效。

RoboArena 的扩展

在机器人技术中，“游戏”每次都在变化。有些任务天生就更难。此外，有些策略可能是“专家”，擅长特定类型的任务，但在其他任务上表现糟糕。

为了处理这个问题，作者使用潜在任务桶 (Latent Task Buckets) 来建模策略 A 击败策略 B 的概率。他们假设存在 \(T\) 种不同类型 (或“桶”) 的任务难度，即使我们不知道具体某个任务属于哪个桶。

排名方程变为:

Equation 1

让我们分解这个方程中的变量:

  • \(\theta_A\) (Theta): 策略 A 的基础技能水平。
  • \(\tau_t\) (Tau): 任务桶 \(t\) 的难度。
  • \(\psi_{A_t}\) (Psi): 一个“兼容性”偏移量。这捕捉了策略 A 在任务桶 \(t\) 上的表现相对于其平均表现有多好或多差。
  • \(\nu_t\) (Nu): 一个随机任务属于桶 \(t\) 的先验概率。

该模型通过对所有潜在任务桶求和来计算获胜概率，并根据当前任务落入该桶的可能性进行加权。这使得系统能够学习到: 策略 A 经常获胜可能仅仅是因为它在简单的任务上被测试，或者策略 B 输掉是因为它面对的是不可能完成的任务。

参数是使用期望最大化 (EM) 算法估算的。EM 算法在根据结果猜测任务难度 (E 步) 和根据这些难度猜测更新策略技能评分 (M 步) 之间交替进行。

定性分析: 分数之外

知道机器人失败了很有用；知道它为什么失败至关重要。

在一个拥有数百小时视频的去中心化系统中，没有任何人能看完所有内容。为了解决这个问题，作者利用包含视觉语言模型 (VLMs) 和大型语言模型 (LLMs) 的管道来生成“策略报告”。

Figure 2: Pipeline for extracting qualitative policy characteristics from RoboArena’s rich evaluation data.

如图 2 所示，该管道的工作流程如下:

  1. 分类: VLM (如 GPT-4V) 观看视频的开头并读取用户的任务指令。它对场景 (光照、杂乱程度) 和任务类型 (例如，“工具使用”、“拾取和放置”) 进行分类。
  2. 聚合: LLM 将人类提供的文本反馈与 VLM 数据进行聚合。
  3. 报告: 系统生成一份结构化报告，总结优势 (例如，“擅长遵循语言指令”) 和劣势 (例如，“在多步骤任务中挣扎”) ，并引用具体的视频 ID 作为证据。

这将原始、杂乱的数据转化为研究人员可操作的洞察。

实验与结果

研究人员在 7 个学术机构部署了 RoboArena，使用了 7 种不同的通用策略 (PaliGemma 和 \(\pi_0\) 模型的变体) 。他们收集了超过 600 次成对比较。

1. 它与“预言机”匹配吗？

为了验证系统，研究人员创建了一个“基准真值”或预言机 (Oracle) 排名。他们用最笨的方法做到了这一点: 在每个任务上对每个策略进行详尽的评估，进行了数千次 (超过 4000 次) 运行。

然后，他们将 RoboArena (仅使用部分数据) 产生的排名与该预言机进行了比较。

Figure 6: Policy rankings from RoboArena pairwise comparisons correlate significantly better with oracle rankings…

图 6 显示了不同评估方法与预言机之间的相关性 (Pearson r) 。

  • Regular (常规) : 这代表了传统方法——在固定的、标准化的任务集上进行评估。其相关性仅为 0.69 。
  • Ours (TASK): 使用上述任务感知排名算法的 RoboArena 方法。它达到了 0.98 的相关性。

关键结论: 与分布式的 RoboArena 方法相比，“标准化”方法实际上是真实通用性能的糟糕预测指标。通过标准化任务，我们未能捕捉到通用机器人面临的挑战的广度。

2. 样本效率

你需要多少数据才能获得好的排名？

Figure 7: Rank correlation as a function of number of evaluation episodes.

图 7 显示 RoboArena 能非常快地收敛到准确的排名。仅需 100 次成对比较 (分布在网络中) ，系统就能与基准真值实现高度相关。这使其非常高效；可以可靠地添加并排名新策略，而无需数周的测试。

3. 定性洞察

RoboArena 的多样性为我们提供了一个迷人的视角，让我们了解现代机器人能做什么和不能做什么。

Figure 5: Left: Examples of RoboArena evaluations. Evaluations span a diverse set of scenes and tasks.

评估涵盖了大量的动词 (打开、关闭、放置、折叠) 和物体 (完整论文中的图 10 所示) 。但有趣的是，性能并不统一。

Figure 12: We observe that policies tend to succeed on tasks involving direct object manipulation…

图 12 强调了一个重要发现:

  • 绿色 (成功) : 机器人通常擅长直接操作——“拿起物体 A，放入容器 B”。
  • 红色 (失败) : 机器人在工具使用 (用布擦拭) 、语义细微差别 (理解“不要碰勺子”) 和多步骤任务方面表现挣扎。

定性反馈还显示, 进度分数 (0-100%) 和偏好标签 (A vs B) 是互补的。通常，两个机器人可能都“成功”了 (100% 进度) ，但人类评估者会偏好其中一个，因为它移动得更自信或路径更直接。RoboArena 捕捉到了这种二元成功指标所无法体现的细微差别。

结论

RoboArena 代表了机器人学习的一个成熟点。正如自然语言处理从简单的 BLEU 分数转向人类偏好排行榜 (如 Chatbot Arena) 一样，机器人技术正从僵化的单一实验室设置转向分布式、众包的评估。

这项工作的主要贡献有三点:

  1. 理念: 证明了对于评估通用智能体，去中心化的多样性优于中心化的标准化。
  2. 数学: 一个稳健的排名公式，考虑了现实世界任务的不同难度。
  3. 社区: 创建了一个开源基础设施，允许没有大型实验室的研究人员也能贡献并受益于高质量的基准测试。

通过拥抱现实世界的混乱，RoboArena 让我们更清楚地看到我们的机器人处于什么水平——以及它们还有多远的路要走。