性能
LingBot-VA 的评测覆盖仿真基准和真实世界任务。
仿真评测
RoboTwin 2.0
LingBot-VA 在 RoboTwin 2.0 的 50 个任务上取得 Easy SR 92.9% 和 Hard SR 91.6%。
* 所有指标均以百分比(%)报告。数值更高者以粗体标注。
| 方法(50 个任务平均) | Easy SR (%) | Hard SR (%) |
|---|---|---|
| X-VLA | 72.9 | 72.8 |
| π0 | 65.9 | 58.4 |
| π0.5 | 82.7 | 76.8 |
| Motus | 88.7 | 87.0 |
| LingBot-VA (Ours) | 92.9 (+4.2) | 91.6 (+4.6) |
LIBERO
* 所有指标均以百分比(%)报告。数值更高者以粗体标注。
| 方法 | Spatial | Object | Goal | Long | Avg |
|---|---|---|---|---|---|
| π0 | 96.8 | 98.8 | 95.8 | 85.2 | 94.1 |
| π0.5 | 98.8 | 98.2 | 98.0 | 92.4 | 96.9 |
| OpenVLA | 84.7 | 88.4 | 79.2 | 53.7 | 76.5 |
| X-VLA | 98.2 | 98.6 | 97.8 | 97.6 | 98.1 |
| LingBot-VA (Ours) | 98.5 ± 0.3 | 99.6 ± 0.3 | 97.2 ± 0.2 | 98.5 ± 0.5 | 98.5 |
真实世界部署
真实世界评测包含三个类别的六项操作任务:长程任务(Make Breakfast、Pick Screws)、精密任务(Insert Tube、Unpack Delivery),以及可变形与铰接物体操作(Fold Clothes、Fold Pants)。每个任务使用 50 次试验,并报告 Progress Rate 和 Success Rate。
进度分数(Progress Score, PS): 所有试验的平均得分除以最大可能得分,以百分比表示:
PS = Average_Progress / Max_Steps × 100%
成功率(Success Rate, SR): 成功试验数除以试验总数,以百分比表示:
SR = Successful_Trials / N × 100%
* 所有指标均以百分比(%)报告。数值更高者以粗体标注。
| 任务 | Make Breakfast | Pick Screws | Insert Tube | Unpack Delivery | Fold Clothes | Fold Pants | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PS | SR | PS | SR | PS | SR | PS | SR | PS | SR | PS | SR | |
| π0.5 | 73.0 | 70.0 | 74.0 | 50.0 | 79.2 | 30.0 | 73.0 | 25.0 | 62.9 | 30.0 | 30.0 | 30.0 |
| LingBot-VA (Ours) | 97.0 | 75.0 | 82.5 | 70.0 | 85.8 | 40.0 | 84.5 | 65.0 | 48.8 | 35.0 | 76.7 | 70.0 |