跳到主要内容

性能

LingBot-VA 的评测覆盖仿真基准和真实世界任务。

仿真评测​

RoboTwin 2.0​

LingBot-VA 在 RoboTwin 2.0 的 50 个任务上取得 Easy SR 92.9% 和 Hard SR 91.6%。

* 所有指标均以百分比(%)报告。数值更高者以粗体标注。

方法(50 个任务平均) Easy SR (%) Hard SR (%)
X-VLA 72.9 72.8
π0 65.9 58.4
π0.5 82.7 76.8
Motus 88.7 87.0
LingBot-VA (Ours) 92.9 (+4.2) 91.6 (+4.6)

LIBERO​

* 所有指标均以百分比(%)报告。数值更高者以粗体标注。

方法 Spatial Object Goal Long Avg
π0 96.898.895.885.294.1
π0.5 98.898.298.092.496.9
OpenVLA 84.788.479.253.776.5
X-VLA 98.298.697.897.698.1
LingBot-VA (Ours) 98.5 ± 0.3 99.6 ± 0.3 97.2 ± 0.2 98.5 ± 0.5 98.5

真实世界部署​

真实世界评测包含三个类别的六项操作任务:长程任务(Make Breakfast、Pick Screws)、精密任务(Insert Tube、Unpack Delivery),以及可变形与铰接物体操作(Fold Clothes、Fold Pants)。每个任务使用 50 次试验,并报告 Progress Rate 和 Success Rate。

进度分数(Progress Score, PS): 所有试验的平均得分除以最大可能得分,以百分比表示:

PS = Average_Progress / Max_Steps × 100%

成功率(Success Rate, SR): 成功试验数除以试验总数,以百分比表示:

SR = Successful_Trials / N × 100%

* 所有指标均以百分比(%)报告。数值更高者以粗体标注。

任务 Make Breakfast Pick Screws Insert Tube Unpack Delivery Fold Clothes Fold Pants
PS SR PS SR PS SR PS SR PS SR PS SR
π0.5 73.070.0 74.050.0 79.230.0 73.025.0 62.930.0 30.030.0
LingBot-VA (Ours) 97.075.0 82.570.0 85.840.0 84.565.0 48.835.0 76.770.0