(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210384412.4 (22)申请日 2022.04.13 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 夏珉　许晗　李正泳　马宇霆　 (74)专利代理 机构 武汉华之喻知识产权代理有 限公司 42 267 专利代理师 王世芳　梁鹏 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/20(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种非特定形状物体识别、 定位与机械手抓 取系统及方法 (57)摘要 本发明提供了一种非特定形状物体识别、 定 位与机械手抓取系统及方法， 属于机械手抓取领 域， 系统包括多自由度机械手、 机器视觉成像模 块和中央处理模块， 多自由度机械手与中央处理 模块相连接， 机器视觉成像模块与中央处理模块 相连接， 以将 采集的图像数据传输给中央处理模 块， 中央处理模块对图像数据进行处理， 提取目 标轮廓， 并根据目标轮廓结合标定后的物空间尺 寸与像空间像素数量映射关系实现对每个目标 的外形尺 寸的测量， 还用于采用深度神经网络模 型依据目标外形尺寸对目标进行分类， 以控制多 自由度机械手对目标进行识别、 定位和拾取。 本 发明还提供了对目标进行识别、 定位和拾取的方 法。 本发明方法和系统适应性强， 能对目标进行 灵活拾取。 权利要求书2页 说明书7页 附图1页 CN 114758236 A 2022.07.15 CN 114758236 A 1.一种非特定形状物体识别、 定位与机械手抓取系统， 其特征在于， 其包括多自由度机 械手、 机器视 觉成像模块和中央处 理模块， 其中， 多自由度机械手包括卡爪或/和吸嘴， 多自由度机械手与中央处理模块相连接， 以受中 央处理模块控制， 根据中央处理模块给出的平面运动坐标和目标外围尺寸执行对目标的拾 取， 机器视觉成像模块包括工业相机和成像镜头， 机器视觉成像模块与中央处理模块相连 接， 以将自身采集的图像数据传输给中央处 理模块， 中央处理模块用于接收机器视觉成像模块采集的图像数据， 对图像数据进行处理， 提 取目标轮廓， 并根据目标轮廓结合标定后的物空间尺寸与像空间像素数量映射关系实现对 每个目标的外形尺寸的测量， 还用于采用深度神经网络模型依据目标外形尺寸对目标进 行 分类， 进而指导并控制多自由度机 械手对目标进行识别、 定位和拾取。 2.如权利要求1所述的一种非特定形状物体识别、 定位与机械手抓取系统， 其特征在 于， 中央处理模块内集成有图像处理子模块， 图像处理子模块用于图像数据执行 处理， 具体 为， 通过直方图均衡化获得对比度改善的工作区域图像， 再通过边缘提取算法实现对工作 区域图像中的待拾取目标进行分割， 将工作区域图像中所有的目标轮廓提取， 以为后续的 分析和处 理提供数据基础。 3.如权利要求2所述的一种非特定形状物体识别、 定位与机械手抓取系统， 其特征在 于， 中央处理模块内还集成有尺寸测量子模块， 其用于根据目标轮廓测量目标尺寸信息， 目 标尺寸信息包括外接矩形长宽比、 矩形度和圆度， 还用于据目标轮廓信息测 量目标平面中 心位置的实际空间坐标， 用于后续对机 械手拾取的引导。 4.如权利要求3所述的一种非特定形状物体识别、 定位与机械手抓取系统， 其特征在 于， 中央处理模块内还集成有目标分类子模块， 其用于根据图像处理子模块提取 的目标轮 廓信息和尺寸测量子模块 获取的目标尺寸信息， 通过训练好的深度神经网络模型对目标进 行分类， 并在目标无法被分类到已知目标特性分类库中， 则将其作为新的目标特征加入分 类库。 5.如权利要求4所述的一种非特定形状物体识别、 定位与机械手抓取系统， 其特征在 于， 中央处理模块内还集成有拾取引导子模块， 其用于根据工作区域内每个目标的位置信 息和分类信息， 按照设定的拾取 方式引导机 械手完成对目标的拾取工作。 6.一种非特定形状物体识别、 定位与机 械手抓取 方法， 其特 征在于， 其包括如下步骤： S1： 采集获得图像数据， 图像数据为数字格式， S2： 对数据格 式的图像数据执行图像预处理， 获取目标图像， 利用边缘提取和亚像素分 析获取目标图像中目标的边 缘信息， 并根据边 缘信息确定其外 接矩形， S3： 对每个目标的边缘信息和外接矩形进行配对， 将配对结果存放于目标信息列表中， 对列表中的每一个信息进行分析， 计算出每个目标外接矩形 的长、 宽信息以及外接矩形中 心位置坐标信息， 并将信息存 入目标信息列表中， 用于对目标进行分类， S4： 利用预先训练好的分类用深度神经网络模型对目标信息进行分类， 采用由输入层、 多个隐藏层、 输出层构成的深度神经网络作为分类网络， 网络输入信息为 目标轮廓及尺寸 信息， 输出为分类结果， 在进行目标分类时， 如果发现新类型目标， 首先排除其是已知目标发生位置重叠， 如果权　利　要　求　书 1/2 页 2 CN 114758236 A 2仍然表现出新 目标的特征， 则将其视作第一次出现的新 目标， 将获取到的新 目标数据加入 到训练集中， 并通过生成对抗神经网络产生大量与之特征相似的目标数据， 再通过机器学 习训练的方式更新深度神经网络模型的参数， 实现对新出现的非特定对象目标的准确分 类， S5:指导并控制多自由度机械手按照设定方式对目标进行识别、 定位和拾取， 拾取非特 定目标时， 按照预定的收集方式将其 放置到对应的收集空间中。 7.如权利要求6所述的一种非特定形状物体识别、 定位与机械手抓取方法， 其特征在 于， 步骤S4中， 排除新类型目标是已知目标发生位置重叠的具体操作为， 首先根据位置测量 结果引导机械手运行到新类型目标附近， 对新类型目标进行触碰操作， 改变目标位置， 再重 新对工作区域进行图像采集， 然后对新类型目标出现区域进行目标识别， 如果其仍然表现 出新目标的特 征， 则将其视作第一次出现的新目标。 8.如权利要求7所述的一种非特定形状物体识别、 定位与机械手抓取方法， 其特征在 于， 步骤S3中， 计算出每个目标外接矩形的长、 宽以及外接矩形中心位置坐标信息时， 第一 坐标系为空间坐标系， 第二坐标系为图片坐标系， 第三坐标系为机械手坐标系， 图片坐标系 以固定的拍摄所得图像为准建系， 空间坐标系以置物平面的物体具体位置为准， 以置物平 面为xy平面， 竖直方向向上为z轴正方向建系， 机械手坐标系以机械手运动时， 运动前后的 两个特征点的差异 位置为准在实际空间上建系， 通过一个矩阵完成对在第二坐标系的坐标 向第一坐标系的转换， 通过第二个矩阵完成对在第一 坐标系的坐标向第三 坐标系的转换。 9.如权利要求8所述的一种非特定形状物体识别、 定位与机械手抓取方法， 其特征在 于， 步骤S5中， 多自由度机械手在放置目标后， 将自身的位姿返还给外界的中央处理模块， 以确认机 械手的坐标 是否是正确的， 多自由度机械手在抓取目标前按照目标物体的大小进行排序， 以此对物体进行抓取， 并且按照种类和大小 进行分类将不同的物体摆放到对应地 不同位置 。 10.如权利要求6所述的一种非特定形状物体识别、 定位与机械手抓取方法， 其特征在 于， 步骤S2 中， 图像预处理包括灰度拉伸、 直方图均衡化、 平滑滤波、 畸变校正、 白平衡校正 中的一种或者多种， 步骤S5中， 指导并控制多自由度机械手按照设定方式对目标进行识别、 定位和拾取时， 设定方式是指按照目标 大小， 形状或/和色域进行坐标的排序后的方式。权　利　要　求　书 2/2 页 3 CN 114758236 A 3