(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313898.2 (22)申请日 2022.03.28 (71)申请人 南京业恒达智能系统股份有限公司 地址 210031 江苏省南京市浦口区浦东路 20号 (72)发明人 王聚峰　陈楠　张腾　冀连权　 张九琴　刘仁明　余飞　倪宝春　 管宏伟　郑飞　钱文昊　朱斌　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06K 9/62(2022.01) G06T 3/40(2006.01) G06T 5/00(2006.01) G06T 5/40(2006.01) G06T 5/50(2006.01) G06T 7/12(2017.01) G06T 7/13(2017.01) G06T 7/33(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于视觉系统的坡口切割机器人图像 处理方法 (57)摘要 本发明提供了一种基于视觉系统的坡口切 割机器人图像处理方法， 属于视觉坡口机器人图 像处理技术领域。 解决了传统切割质量差、 效率 低的问题。 其技术方案为： 包括以下步骤： S1、 图 像采集与拼接； S2、 对目标区域工件的提取； S3、 目标区域最优轮廓的获取； S4、 视觉标定； S5、 工 件轮廓匹配。 本发明的有益效果为： 本发明添加 了视觉信息采集系统， 能自动识别工件的形状和 摆放姿态， 避免了示教机器人的示教再现的过 程， 增加了工作的灵活性， 提高了 工作效率。 权利要求书2页 说明书6页 附图2页 CN 114821114 A 2022.07.29 CN 114821114 A 1.一种基于 视觉系统的坡口切割机器人图像处 理方法， 其特 征在于， 包括以下步骤： S1、 图像采集与拼接 对于图像的采集， 采用一台CCD相机对切割平台进行垂直拍摄， 通过移动机器人连续采 集图像， 将切割平台上的全部工件的图像进 行采集， 对采集的多幅图像， 采用配准策略进 行 图像融合完成拼接， 使用特 征提取的SIFT算法对 采集的图像进行拼接； S2、 对目标区域工件的提取 对于深度相机采集到的深度图像进行灰度化处理， 由于彩色图像中三分量的差异， 采 用加权平均法， 将三个 分量以不同的权值进 行加权平均， 计算深度图像的灰度值， 输出深度 图像的灰度图像， 完成深度图的灰度化处 理； S3、 目标区域 最优轮廓的获取 对于图像轮廓边缘的检测， 综合对比边缘梯度算子， 使用canny算子作为主要的边缘检 测法， 在高斯滤波的二值化图像已去除大部分噪声的基础上， 使用一阶差分近似微分的方 法计算图像内每一个点的局部梯度与边缘方向， 采用非极大值抑制梯度， 细化图像边缘的 宽度， 再采用双阈值法的输出强、 弱边 缘， 完成边 缘检测； S4、 视觉标定 以相机的投影成形原理为基础， 采用平面棋盘标定法求解相机的内参数， 通过提取棋 盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f， k， Sx,Sy,Cx,Cy)， 基于 求解得到的相机内参数， 利用相同的标定块对左右相机进行测量， 得到左右机的高度差， 完 成两相机在世界坐标系 下平移关系的转换， 完成相 机的标定， 求解机器人 的世界坐标系与 相机成像的像素坐标映射关系， 完成 图标坐标系至世界坐标系的转换， 实现机器人 的手眼 标定， 使设备按图行 走； 通过对相机模型的分析,进行相机内参的标定,利用得到的相机内参数进行左右机之 间的标定与重合图像成像区域的拼接原理分析， 相机的标定后,进 行机器人的手眼标定,使 图像坐标系与机器人 执行末端联系,实现设备按图行 走； S5、 工件轮廓匹配 对于工件CAD模板的匹配， 借助于前期最优轮廓获取的工作基础： 单像素高精度的工件 轮廓边缘； 对处理得到的工件轮廓与cad模板轮廓各自进 行Hu矩的计算与匹配， 设置工件与 CAD模板的Hu矩的相似度为0.0180968， 寻找出与之对应的CAD模板， 并比较实际工件轮廓面 积与cad模板面积， 避免形状相同、 尺寸不同的应用工况， 最终确定CAD模板的切割工艺参 数， 纠正机 械臂的行 走路线， 实现精准切割； 依据左右成像重叠区域的拼接原 理,对最优轮廓进行拼接,得到工件的完整缘轮廓图， 对于工件CAD模板,进行边 缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配。 2.根据权利要求1所述的基于视觉系统 的坡口切割机器人图像处理方法， 其特征在于， 所述步骤S1中,使用特 征提取的SIFT算法对 采集的图像进行拼接， 具体包括以下步骤： S11、 利用SIFT算法提取出工件图像的特征点， 为每一个特征点分配一个主方向和辅方 向； S12、 紧接步骤S11， 引入kd ‑tree数据结构对分配好的特征信息进行分类索引， 开始搜 索特征匹配对， 并根据最近邻和次近邻比值进行筛 选， 得到初始的特 征匹配对； S13、 为了减少初步筛选出的错误匹配对， 采用RANSAC算法去除错误的匹配对， 并给出权　利　要　求　书 1/2 页 2 CN 114821114 A 2图像之间的变换矩阵； 使用变换矩阵将图像变换至同一坐标系下， 进 行融合， 对于多幅图像 融合存在的亮度差异， 采用加权平均算法对重 叠区域进行优化， 完成图像的拼接 。 3.根据权利要求1或2所述的基于视觉系统的坡口切割机器人图像处理方法， 其特征在 于， 所述步骤S2中深度图的灰度化处 理具体包括以下步骤： S21、 基于灰度图像， 采用高斯滤波进行平滑滤波， 对平滑好的图像借助imlab软件求解 出工件灰度图的直方图， 由于经过平滑处理的图像使工件部分轮廓边缘模糊， 在求解的直 方图上体现为灰度值过于集中， 采用直方图均衡化技术加大工件图像的对比度， 在均衡化 灰度直方图中， 应用Otsu法的最大类间方差原理， 遍历0 ‑255个灰度级， 求出使类间方差值σ 最大时的灰度级， 并以此确立为最佳分割阈值T， 在整个图像中将各个点的灰度值与分割阈 值作比较， 大于 分割阈值的点认定为工件的轮廓点， 设置为白色， 设置灰度值为255， 否则认 定为背景， 设置为黑色， 设置灰度值为0， 得到相对较好的目前区域二值图， 经过像素值变 化， 使黑色北京像素灰度值设为0， 白色工件区域的像素灰度值为1， 重新得到灰度值只有1 和0的工件目标图像， 把增强后的工件 灰度图经过尺寸变换成与深度图相同大小的规格， 最 后与只含0和1的灰度图进行相乘运算， 去除工件图像中的背景， 得到预期的灰度目标区域 图像； S22、 通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进 行二值化分割,获得工件深度图的目标区城， 对工件灰图,进 行高斯滤波处理与直方图均衡 化， 突出工件边缘信息， 深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度 图进行相乘,去除背景噪声， 留下仅含工件的目标区域。 4.根据权利要求1 ‑3任一项所述的基于视觉系统的坡口切割机器人图像处理方法， 其 特征在于， 所述 步骤S3中， 借助于Fre eman链码表示出工件轮廓点的坐标， 具体步骤如下： S31、 以行扫描的方式先确定一轮廓起始像素点， 将起始像素点做标记， 然后扫描该像 素点的8临域， 若在该像素点右上方 临域内有一个轮廓点， 则将该轮廓点信息记 为1， 若是在 起始像素点正下方 临域内有一个轮廓点， 则将该轮廓点信息记为6， 再以找到的轮廓点为扫 描中心,继续对其临域进 行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描 下去， 直到循环扫描到最 开始做标记的起始轮廓点， 则跟踪结束； S32、 当图像中的轮廓个数不只一个时， 需要经所有的轮廓都能跟踪存储下来， 先跟踪 第一个轮廓， 该轮廓跟踪结束后将其信息存储并将该轮廓置为背景， 继续进行行扫描进行 下一个轮廓的跟踪， 直到将所有的轮廓都跟踪完毕， 在跟踪轮廓时有三种奇异点： 孤立点、 毛刺点、 断点； 在Freeman链码采 取算法进行优化； 对于孤立点， 将其像素值置为0； 对于毛刺 点， 先将追踪到的点像素置为0， 将多出的毛刺点作为孤立点处理， 再将置为背景的点像素 置为1； 对于断点， 可扩大其搜索区域， 使用直线连接 至最近的像素点， 完成断点的处 理。权　利　要　求　书 2/2 页 3 CN 114821114 A 3