(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210832715.8 (22)申请日 2022.07.14 (71)申请人 中船重工鹏力 （南京） 智能装备系统 有限公司 地址 211153 江苏省南京市江宁开发区长 青街32号 (72)发明人 葛楼云　张瑞　陆坤　鲁小翔　 高国明　王军　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 石艳红 (51)Int.Cl. B07C 5/342(2006.01) G06T 7/33(2017.01) G06V 10/44(2022.01)G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/00(2022.01) (54)发明名称 基于3D深度网络的无序分拣方法 (57)摘要 本发明公开了基于3D深度网络的无序分拣 方法， 包括步骤1、 构建点云图像数据集； 步骤2、 构建深度神经学习网络； 步骤3、 零件传送； 步骤 4、 零件点 云图像采集； 步骤5、 零件点 云图像预处 理； 步骤6、 点云自适应分类； 步骤7、 抓取零件初 筛； 步骤8、 点 云配准； 步骤9、 夹爪姿态选 择； 步骤 10、 重复步骤4至步骤9， 实现深框内所有待分拣 零件的依次抓取。 本发明能实现深 框物体中多种 零件杂乱、 堆叠的情况下分拣， 避免碰撞， 具有识 别率准确、 抓取成功率高等优点。 权利要求书2页 说明书6页 附图3页 CN 115213122 A 2022.10.21 CN 115213122 A 1.一种基于 3D深度网络的无序分拣方法， 其特 征在于： 包括如下步骤： 步骤1、 构建点云图像数据集： 设待分拣的零件类型具有M种， M≥1； 针对每种待分拣零 件， 将单个待分拣零件分别放置在3D相机的采集视野内， 且 呈不同位姿摆放； 每种位姿均至 少采集一次目标零件点云图像样本； 每种待分拣零件共采集得到N个目标零件点云图像样 本； M种零件的所有目标零件点云图像样本共同构成点云图像数据集； 步骤2、 构建深度神经学习 网络： 深度学习神经网络的输入为目标零件点云图像， 输出 为零件类型； 将步骤1构建的点云图像数据集对深度神经学习网络进 行训练， 从而 得到具有 确定连接 权值的深度神经 学习网络； 步骤3、 零件传送： 自动传送装置将装载有零件的深框传送至无序分拣工位； 其中， 零件 在深框内呈 无序摆放状态， 且零件类型 具有若干种； 步骤4、 零件点云图像采集： 位于无序分拣工位正上方的3D相机对位于深框顶部的零件 图像进行自动采集， 并得到零件点云图像； 步骤5、 零件点云图像预处理： 对步骤4采集得到的零件点云图像， 进行预处理， 去除深 框点云， 得到目标零件点云； 步骤6、 点云自适应分类： 将步骤5得到的目标零件点云， 输入至步骤2构建的深度神经 学习网络中， 深度神经学习网络对目标零件点云自适应分类， 从而得到目标零件点云中每 个待分拣零件的零件类型； 步骤7、 抓取零件初筛： 从目标零件点云中获取每个待分拣零件的高程和点云数量信 息， 并对高程和点云数量分别归一化、 并设置权重后求和； 将求和结果最大的前W名待分拣 零件作为初筛后的待抓取零件； 其中， W≥3； 步骤8、 点云配准： 将步骤7初筛后得到的前K名待分拣零件分别进行点云配准， 得到每 个待分拣零件的三维空间姿态与配准得分； 步骤9、 夹爪姿态选择： 夹爪位于无序分拣工位的一侧， 根据步骤8中每个待分拣零件的 三维空间姿态， 对夹爪采用AABB包围盒碰撞检测， 选择无碰撞且配准得分高的点云作为待 抓取点云； 然后， 使夹爪姿态与待抓取点云的三维空间姿态保持一致， 并根据步骤6确定的 零件类型， 实现待分拣零件的抓取分拣； 步骤10、 重复步骤4至步骤9， 实现深框内所有 待分拣零件的依次抓取。 2.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤1中， N≥ 1000。 3.根据权利要求2所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤1中， 单个 待分拣零件在3D相 机的采集视野内， 不同位姿摆放方式为： 单个待分拣零件先以相机坐标 系的Z轴作为旋转轴， 每次进 行旋转5°， 总旋转次数不少于70次； 待分拣零件每次在绕Z轴旋 转5°后， 再分别以相机坐标系的X轴和Y轴作为旋转轴， 分别旋转45 °、 90°、 135°、 180°、 225°、 270°、 325°、 360°， 共采集16个位姿下 单个目标零件点云图像样本； 因而， N≥1 120。 4.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤2中， 构建 的深度神经 学习网络， 包括采样层、 分组层、 特 征提取层和全连接层； 采样层采用最远采样法对输入的目标零件点云图像进行采样， 采样层的输出作为分组 层的输入； 分组层采用三尺度采样， 每个尺度中， 均将分组层的输入作为中心点， 形成3个规模不权　利　要　求　书 1/2 页 2 CN 115213122 A 2同邻域点云K1、 K2和K3， 再将K1、 K2和K3合并为 新的点云K； 特征提取层将三个尺度中的新点云K， 分别 进行特征提取， 提取后特征分别记为F1、 F2、 F3； 接着， 合并F1、 F2、 F3， 形成新的特 征F； 全连接层以新特 征F作为输入， 输出则为 零件类型。 5.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤3中， 无序 分拣工位设置有深框限位装置以及深框到位传感器； 其中， 深框限位装置用于对位于无序 分拣工位中的深框位置进 行限位； 深框到位传感器用于检测位于无序分拣工位中的深框是 否传送到位。 6.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤7中， 高程 和点云数量归一 化求和表达式为： 式中， J为待分拣零件的高程和点云数量的归一 化求和结果； a为高程对应权 重， b为点云数量对应权 重； H为待分拣零件的高程； HMAX为最大设定高程； HMIN为最小设定高程； S为待分拣零件的点云数量； SMAX为最大设定点云数量； SMIN为最小设定点云数量。 7.根据权利要求6所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤7中， a:b ＝1:1,W＝5。 8.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤9中， 对夹 爪采用AABB包围盒碰撞检测的方法， 包括如下步骤： 步骤91、 深框边界获取： 依据步骤4采集得到的零件点云图像， 获取深框点云， 依据边界 提取算法获取深框边界信息； 步骤92、 深框平面获取： 依据RANSAC拟合， 获得深框四个内边界平面信息； 步骤93、 包围盒设置： 依据夹爪几何信息， 设置夹爪为AABB的包围盒， 包围盒一端中心 为法兰盘中心， 另一端中心为 抓取点； 步骤94、 包围盒调整： 依据每个待分拣零件的三维空间姿态， 调整包围盒方向， 使得包 围盒与待分拣零件的三维空间姿态保持一 致； 步骤95、 碰撞检测： 依据几何信息， 判断包围盒与深框四个平面是否存在相交； 若无相 交， 则对应待分拣零件在抓取过程中与深框将无碰撞； 否则， 对应待分拣零件在抓取过程中 与深框将存在碰撞。 9.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤8的点云 配准中， 配准模型为对应分拣零件完整的CAD模型。 10.根据权利要求1所述的基于3D深度网络的无序分拣方法， 其特征在于： 步骤9中， 夹 爪通过法兰盘安装在六轴机器人的末端， 六轴机器人设置在无序分拣工位的一侧。权　利　要　求　书 2/2 页 3 CN 115213122 A 3