评测
评测方式一览
| 方式 | 说明 |
|---|---|
| 开环评测（Open-Loop） | 在验证集上比对预测动作，无需仿真环境 |
| RoboTwin 2.0 | 双臂操作仿真基准（Clean / Randomized） |
| LIBERO | 终身学习基准（Spatial / Object / Goal / Long） |
| GM-100 | 3 真机平台基准（SR / PS） |
仿真环境准备
| 仿真 | 用途 | 准备 |
|---|---|---|
| RoboTwin 2.0 | 双臂操作基准（Clean / Randomized） | 本页 RoboTwin 2.0 部署评测 |
| LIBERO | 终身学习基准 | 本页 LIBERO |
RoboTwin 5 任务示例：open_microwave、click_bell、stack_blocks_three、place_shoe、put_object_cabinet。
开环评测
export QWEN25_PATH=Qwen/Qwen2.5-VL-3B-Instruct
python scripts/open_loop_eval.py \
--model_path path_to_posttraining_ckpt \
--data_path path_to_validation_data \
--use_length 50
# 省略 --data_path 时默认用 YAML 中 data.train_path
RoboTwin 2.0 部署评测
export QWEN25_PATH=path_to_Qwen2.5-VL-3B-Instruct
python -m deploy.lingbot_vla_policy \
--model_path path_to_posttraining_ckpt \
--use_compile --use_length 50 --port port
LIBERO
git clone https://github.com/Lifelong-Robot-Learning/LIBERO.git libero
cd libero && pip install -e .
cd experiment/libero/libero && pip install -r req.txt
结果保存到 /project_root/Libero：release_ensemble/（日志）、rollouts/（视频）。
运行前须把 LIBERO 仓库加入
PYTHONPATH（export PYTHONPATH=/path/to/libero:$PYTHONPATH），否则import libero失败。
指标说明
- SR（Success Rate）：成功率。
- PS（Progress Score）：进度分，衡量任务完成度（部分完成也计分）。
主要结果
| 基准 | 结果（含深度） |
|---|---|
| GM-100 平均 | SR 17.30 / PS 35.41（优于 π₀.₅ 的 13.02 / 27.65） |
| RoboTwin 2.0 | Clean 88.56 / Rand. 86.68 |
GM-100 真机详细结果
3 个真机平台的 SR / PS（每列最优加粗）：
| 平台 | WALL-OSS | GR00T N1.6 | π₀.₅ | Ours w/o depth | Ours w/ depth |
|---|---|---|---|---|---|
| Agibot G1 | 2.99 / 8.75 | 5.23 / 12.63 | 7.77 / 21.98 | 12.82 / 30.04 | 11.98 / 30.47 |
| AgileX | 2.26 / 8.16 | 3.26 / 10.52 | 17.20 / 34.82 | 15.50 / 36.31 | 18.93 / 40.36 |
| Galaxea R1Pro | 6.89 / 14.13 | 14.29 / 24.83 | 14.10 / 26.14 | 18.89 / 34.71 | 20.98 / 35.40 |
| 平均 | 4.05 / 10.35 | 7.59 / 15.99 | 13.02 / 27.65 | 15.74 / 33.69 | 17.30 / 35.41 |
RoboTwin 2.0 平均 SR：π₀.₅ Clean 82.74 / Rand 76.76；Ours w/o depth 86.50 / 85.34；Ours w/ depth 88.56 / 86.68。
训练效率：相比现有 VLA 代码库 1.5–2.8× 加速（8/16/32/128/256 卡对比理论线性扩展上限）。
VA 的评测结果见 LingBot-VA；Map 3D 重建评测见 LingBot-Map。