graspnetAPI icon indicating copy to clipboard operation
graspnetAPI copied to clipboard

数据集构建

Open Hriver-J opened this issue 10 months ago • 0 comments

作者您好,我想要增添一部分数据集分别用于训练和测试,想请问你们是如何构建训练数据集的? 更具体一些,在有RGB与RGB-D图像后我该怎样生成grasp_label、collision_label路径以及其他数据集必须的内容?

————————————————————————————————————————————————

根据对graspNet-1billion论文的阅读,我目前的认知是这样的:

  1. 对物体进行3d建模,并生成点云。这一步可以通过3d建模软件生成.obj系列的文件后,使用pcl库来生成点云。
  2. 进行相机、物体标定,将物体位姿统一到相机坐标系下。
  3. 基于机械臂夹爪的建模(获取夹爪间距、深度),遍历物体的点云来生成抓取位姿,同时进行力封闭分析。
  4. 剔除存在碰撞的抓取。

我对“生成抓取位姿“和“力封闭分析”的实现有些困惑:

  1. “生成抓取位姿”,搜索3d点云中是否有多个点落在同一个球面上,倘若是,则说明夹爪有可行的接触。我不明白该如何将这些同球面点和夹爪位姿对应起来?
  2. “力封闭分析”获取抓取评分(摩擦因数)的逻辑该如何实现?我无法将3d点云和力学分析联系起来,不知道您是否有相关的代码实现或者相关的书籍/paper/开源代码分享?

Hriver-J avatar Feb 21 '25 07:02 Hriver-J