(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210344226.8 (22)申请日 2022.04.02 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 林梓尧　贾奎　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习从图像预测物体抓取顺 序的方法 (57)摘要 本发明公开了一种基于深度学习从图像预 测物体抓取顺序的方法， 包括以下步骤： 1)采集 无序抓取场景图片； 2)使用深度分割网络， 从图 片中检测所有待抓取物体的检测框和分割掩模； 3)将不同分割掩模对应的特征图区域进行池化， 使之变成等长的特征向量。 同时， 将全局的特征 图进行特征池化， 成为全局特征向量； 4)将所有 特征掩模对应的特征向量连接上全局的特征向 量， 使之成为每个物体的特征向量； 并将其无序 地送入一个特殊的循环神经网络， 循环神经网络 输出物体的抓取顺序。 本发明能够在复杂的堆叠 物体场景中预测出合理的抓取顺序， 能够加快机 械臂对物体的抓取速度并且减少碰撞。 在工业场 景中以合理的抓取顺序进行物体抓取至关重要。 权利要求书2页 说明书10页 附图3页 CN 114882214 A 2022.08.09 CN 114882214 A 1.一种基于深度学习从图像预测物体抓取顺序的方法， 其特 征在于： 包括以下步骤： 步骤1、 使用分割网络检测出图像中所有前景物体， 同时对所有前景物体输出分割掩 模， 保留图像的全局特 征图及输出掩 模前的物体特 征图； 步骤2、 使用物体的分割掩模从物体特征图中切出掩模位置的特征图并进行池化得到 物体的局部特征向量， 对全局特征图进行池化得到全局特征向量， 将全局特征向量连接到 各个物体的局部特 征向量得到每 个物体的物体特 征； 步骤3、 使用循环神经网络作为编码器， 将所有物体的物体特征向量序列依次送入编码 器， 最终得到一个固定 长度的特 征向量； 步骤4、 将步骤3编码后的特征向量作为隐藏特征， 随机生成生成输入向量， 将隐藏特征 向量输入抓取顺序预测器， 抓取顺序预测器每一步接收一个定长的输入向量以及一个上一 步得出的 隐藏特征， 并输出一个索引， 该索引指向物体特征序列中的某一个特征， 该特征对 应的物体即为当前步预测的抓取物体， 循环预测的步数为检测出 的物体数量， 最后预测出 的索引序列即为物体的抓取顺序。 2.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 所述分割网络包括 二分类器， 用于分离出 前景物体和背景物体。 3.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 步骤2具体步骤如下： 21、 使用分割网络检测出所有前景物 体的掩模Maski， i∈1， 2， ...N， 其中N为分割网络在 当前图片检测出的物体数量， 并使用前景物体的掩模对预测物体掩模的前一层特征层进 行 掩码， 掩码之后进行特征池化， 然后用一个线性网络将特征通道数转换到固定长度的物体 局部特征 以生成各个物体各自的局部特 征向量； 22、 对最完整分辨率的全局特征层直接进行特征池化， 用另一个线性网络将全局特征 转换到固定 长度成为场景的全局特 征fglobal； 23、 将物体的局部特 征和全局特 征连接起来成为物体的特 征 4.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 编码器的每一次循环使用一个物体特征作为输入， 并对应输出一个隐藏特征 将最后一个编码出来的隐藏特征 作为物 体特征序列的特征编 码 其中， 是上一次编码输出的隐藏特 征， 为物体的特征， N为物体的总数量， 为对所有物体的特征进行编码之后 的结果。 5.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 步骤4包括以下步骤： 41、 使用LSTM循环神经网络作为抓取顺序预测器， 将步骤3编码后的特征向量作 为第一 个隐藏特征 随机生成第一个输入向量 m是 固定的输入特 征长度， 将隐藏特 征和输入向量输入抓取顺序预测器； 抓取顺序预测器每一步接受一个隐藏特征 和一个输入向量 并输出一权　利　要　求　书 1/2 页 2 CN 114882214 A 2个输出向量 其中j代表当前位于第j次循环即当前在预测 第j个抓取目标， 是上一次循环所预测出抓取目标对应的特征， 当j＝1时， 表示开始预测的第一步， 此时 即生成一个随机向量作为输入； 42、 对于抓取顺序预测器每一步输出的特征向量， 使用PointerNet中的机制， 从物体的 特征序列中计算出一个索引， 将该索引对应的物体作为 这个一步的抓取物体； 43、 将步骤41～步骤42循环h次， h为检测出的物体的数量， 由此得到一个长度为h的索 引序列， 该索引序列即为物体抓取顺序。 6.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 所述带标注数据是使用仿真加 渲染的方式自动生成大批量带抓取顺序标注的数据， 抓取顺序标注的生成方法使用启发式算法， 具体的步骤如下： 51、 开启一个场景的构建， 往仿真器中随机导入n个物体， 每个物体复制出m个实例， 物 体数量和实例数据在每次场景的构建中都随机生成； 52、 以仿真器的世界中心为原点， 划分p ×p的网格， 网格每个方形的大小为导入物体的 平均直径加上一个固定的常量d； 53、 在网格的边缘放置物体， 每次从物体实例中随机选取一个实例， 先放置在对应的网 格中心， 并沿z轴向上抬升， 然后在xy平面做随机平 移， 每次给 该实例随机赋予一个纹 理； 54、 重复步骤53直到该网格放置满， 接着以同样的中心， 同样的大小继续划分(p ‑2)× (p‑2)的网格； 56、 重复步骤53 ‑步骤54直到放置满三层； 如果实例数量不足或者其他条件不满足， 则 中止场景构建并进入下一个阶段， 最后产生的场景 呈现悬空金字塔样式的形状； 57、 以世界坐标原点为球的原点， 在z轴正方向生成一个半球面， 在球面上均匀采样o个 位置用来 假设虚拟摄 像机； 58、 对采样出的相机位置点， 逐 次渲染， 每次相机正对世界原心， 同时， 每次渲染对灯光 和物体表面的材质做随机化扰动， 然后渲染出图像； 59、 对遮挡超过设定比例的物体进行 滤除。 7.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 所述带标注数据是使用相机在 多个角度下采集堆叠场景的RGB图像， 并使用已训练的 分割网络检测物体的物体框， 通过 人工标注的方式标注 物体的抓取顺序。 8.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 所述带标注数据采用使用仿真渲染方式合成出 的图像作为数据， 且使用仿真渲染方 式合成出的数据自动带 标注的。 9.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 所述分割网络在获得图像中物体的分割掩模的同时， 能够生成图像的特征图， 同时， 分割网络能够检测出图像中所有前景物体， 同时， 在抓取顺序预测阶段使用的PointerNet 网络对任意数量的物体进行循环预测。 10.根据权利要求1所述的一种基于深度学习从图像预测物体抓取顺序的方法， 其特征 在于： 在对物体进行 特征提取的时候， 将物体所在区域的图像特 征作为物体的特 征。权　利　要　求　书 2/2 页 3 CN 114882214 A 3