跳到主要内容

数据、应用与模型细节

方法​

LingBot-Depth 使用掩码深度建模，通过自监督学习获得 RGB-D 表征。模型采用带深度感知注意力机制的 Vision Transformer 编码器，联合处理 RGB 和深度输入。

深度感知注意力可视化。 在两个场景中可视化深度查询（Q1–Q3，以 ⋆ 标注）对 RGB token 的注意力：(a) 水族馆和 (b) 室内货架。每一行展示掩码后的输入深度、RGB 上的注意力权重以及精化后的输出。不同的查询会关注空间上相对应的区域，体现了跨模态对齐。

关键创新：

  • 掩码深度建模：通过深度重建实现自监督预训练
  • 跨模态注意力：在统一隐空间中联合对齐 RGB 与深度
  • 度量尺度保持：为下游任务保持真实世界的测量尺度

训练数据​

训练数据结合真实世界与仿真 RGB-D 采集：

训练数据集。 200 万真实世界样本与 100 万仿真样本，涵盖多样化的室内环境（上图）。具有代表性的 RGB-D 输入及对应的真值深度（下图）。

数据集组成：

  • 真实采集：来自住宅、办公和商业环境的 200 万样本
  • 仿真数据：100 万张具有完美真值的照片级真实感渲染图
  • 模态：RGB 图像、原始深度、精化真值深度
  • 多样性：多种传感器类型、光照条件和场景复杂度

应用​

4D 点追踪​

LingBot-Depth 提供具有度量精度的三维几何，这对追踪动态目标至关重要：

4D 点追踪。 在具有动态人体运动的健身房环境中实现稳健追踪。上：查询点选择。中：在形变几何上的三维追踪。下：精化后的深度图。在踏板车、划船机、健身器材和单杠上进行了演示。

灵巧操作​

高质量的几何理解能够在多样化的物体和材质上实现可靠的机器人抓取：

灵巧抓取。 精化后的深度实现了稳健的操作。上：点云重建。下：在不锈钢杯、玻璃杯、收纳盒和玩具车上的成功抓取。

硬件搭建​

RGB-D 采集系统用于大规模数据采集：

RGB-D 采集系统。 采用 Intel RealSense、Orbbec Gemini 和 Azure Kinect 的多传感器系统，用于可扩展的真实世界数据采集。

模型细节​

架构​

  • 编码器：带有 RGB-D 融合的 Vision Transformer（Large）
  • 解码器：带有专门预测头的多尺度特征金字塔
  • 预测头：深度回归
  • 训练：以重建为目标的掩码深度建模

输入格式​

RGB 图像：

  • 形状：[B, 3, H, W]，归一化到 [0, 1]
  • 格式：PyTorch 张量，float32

深度图：

  • 形状：[B, H, W]
  • 单位：米（可通过 scale 参数配置）
  • 无效区域：0 或 NaN

相机内参：

  • 形状：[B, 3, 3]
  • 归一化格式：fx'=fx/W, fy'=fy/H, cx'=cx/W, cy'=cy/H
  • 示例： 
    [[fx/W,   0,   cx/W],
     [  0,  fy/H,  cy/H],
     [  0,    0,    1  ]]

输出格式​

模型返回一个字典：

{
    'depth': torch.Tensor,   # Refined depth [B, H, W]
    'points': torch.Tensor,  # Point cloud [B, H, W, 3] in camera space
}

推理参数​

model.infer(
    image,                                   # RGB tensor [B, 3, H, W]
    depth_in=None,                           # Input depth [B, H, W]
    use_fp16=True,                           # Mixed precision inference
    intrinsics=None,                         # Camera intrinsics [B, 3, 3]
)