安装与模型下载
环境要求
- Python 3.10.16
- PyTorch 2.9.0
- CUDA 12.6
安装 PyTorch 和运行依赖：
pip install torch==2.9.0 torchvision==0.24.0 torchaudio==2.9.0 \
--index-url https://download.pytorch.org/whl/cu126
pip install websockets einops diffusers==0.36.0 transformers==4.55.2 \
accelerate msgpack opencv-python matplotlib ftfy easydict
pip install flash-attn --no-build-isolation
模型权重
| 模型 | Hugging Face | ModelScope | 用途 |
|---|---|---|---|
lingbot-va-base | 查看模型 | 查看模型 | 共享骨干网络的基础 Checkpoint |
lingbot-va-posttrain-robotwin | 查看模型 | 查看模型 | RoboTwin 后训练 Checkpoint |
lingbot-va-posttrain-libero-long | 查看模型 | 查看模型 | LIBERO-Long 后训练 Checkpoint |
后训练数据集
| 数据集 | Hugging Face | ModelScope | 用途 |
|---|---|---|---|
robotwin-clean-and-aug-lerobot | 查看数据集 | 查看数据集 | 清洗并增强后的 LeRobot 格式 RoboTwin 数据集 |
libero-long-lerobot | 查看数据集 | 查看数据集 | LeRobot 格式 LIBERO-Long 数据集 |
配置注意力模式
模型从 <model-path>/transformer/config.json 读取 attn_mode。运行前根据任务修改该字段：
| 任务 | attn_mode |
|---|---|
| 训练 | "flex" |
| 推理或评测 | "torch" 或 "flashattn" |
"flex" 仅用于训练，不能用于推理或评测。