(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211162588.1 (22)申请日 2022.09.23 (71)申请人 电子科技大 学中山学院 地址 528402 广东省中山市石岐区学院路1 号 (72)发明人 易锋　 (74)专利代理 机构 中山市粤捷信知识产权代理 事务所(普通 合伙) 44583 专利代理师 张谦 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度神经网络的机器视觉定位方 法 (57)摘要 本发明公开了一种基于深度神经网络的机 器视觉定位方法， 包括以下步骤： 步骤1： 通过程 序生成模拟训练数据集， 训练卷积神经网络， 实 现图形上像素点的语义二 分类， 根据Mark标识中 的像素点， 计算得到Mark标识的精确位置； 步骤 2： 使用迁移学习， 将已有模型的权值参数迁移 至 新任务中， 通过改变迁移学习方式、 调整分类网 络的结构， 设计对比实验， 探究能够实现高精度 对Mark标识进行定位的有效方法及最佳模型， 用 于实际的Mark识别应用中。 采用基于卷积神经网 络的高精度Mark定位算法对Mark点进行高精度 定位， 具有定位精度高， 泛化性好， 鲁棒性强的特 点。 可以使用本发明的算法对常见的Mark形状算 法进行统一定位， 而且具有抗干扰能力强的特 点。 权利要求书1页 说明书4页 附图4页 CN 115496903 A 2022.12.20 CN 115496903 A 1.一种基于深度神经网络的机器视 觉定位方法， 其特 征在于， 包括以下步骤： 步骤1： 通过程序生成模拟训练数据集， 训练卷积神经网络， 实现图形上像素点的语义 二分类， 根据Mark标识中的像素点， 计算得到 Mark标识的精确位置； 步骤2： 使用迁移学习， 将已有模型的权值参数迁移至新任务中， 通过改变迁移学习方 式、 调整分类网络的结构， 设计对比实验， 探究能够实现高精度对Mar k标识进行定位的有效 方法及最佳模型， 用于实际的Mark识别应用中。 2.根据权利要求1所述的一种基于深度神经网络的机器视 觉定位方法， 其特 征在于： 在步骤1中， 首先利用模拟程序 生成带Mark标识以及Mark标识在图片中像素位置的256 阶的灰度图片数据集， 然后将该数据集中的带Mark标识的图片作为改进的Unet网络的输 入， 利用网络的上采样、 下采样及跳跃连接和全连接层输出Unet网络模型给出的Mark标识 在图片中的像素位置， 通过 随机梯度下降算法， 逐步减小Mark标识在图片中像素位置和改 进Unet网络的回归输出值的差值， 达到自动提取图片中Mark标识的图像特征信息， 可以将 灰度图像中的像素点分为属于Mar k标识和不属于Mar k标识两大类像素点； 然后经过Unet中 的全连接层， 训练可以根据属于 Mark标识像素信息， 给 出图片中Mark标识 精确位置的模型。 3.根据权利要求1所述的一种基于深度神经网络的机器视 觉定位方法， 其特 征在于： 在步骤2中， 利用模拟数据集对模型进行训练， 学习可以对Mark标识像素进行语义分类 的特征， 然后使用模型参数迁移对在第一步训练的改进Unet网络模型进行微调， 通过选择 第一步中得到的预训练模型共性特征， 并将其在最终模型中进行复用， 得到能够输出真实 场景中Mark标识在图像中的精确位置的改进 Unet网络模型。 4.根据权利要求3所述的一种基于深度神经网络的机器视 觉定位方法， 其特 征在于： 所述Unet网络模型中， 在Unet的输出层之后添加全连接层， 用于生成从完成语义分割 后的图形中， 找到图形对称中心的函数， 全连接层使用Unet的语义分割输出， 全连接层的输 入为388×388个神经单元， 隐含层为四层的全连接层， 每层为512 ×512个神经单元， 最后一 层为输出层， 输出层为1 ×3的向量， 表 示Mark标识在图形上的位置坐标(x,y)和Mar k标识外 接圆的半径。权　利　要　求　书 1/1 页 2 CN 115496903 A 2一种基于深度神经 网络的机器视觉定位方 法 技术领域 [0001]本发明涉及一种工业机器视觉中标志定位技术， 属于利用标识进行精确定位装 置， 尤其适用于工业4.0中智能机 械制造中的机器视 觉定位。 背景技术 [0002]集成电路(Integrated  Circuit， IC)产业是信息技术产业的核心； 是高端装备制 造业的核心产业； 是支撑经济社会发展和保障国家 安全的战略性、 基础性和先导性产业。 机 器视觉定位作为一项单元技术， 相当于智能设备的眼睛， 完成目标工件的定位； 在包括PCB 自动曝光机、 自动 贴片机、 焊膏 印刷机、 PCB故障自动定位机等IC产业的生产过程中得到了 广泛的应用， 是一个重要的研究方向。 机器视觉定位基本原理是利用图像传感器模拟人眼 的视觉， 从检测对象的图像中提取目标工件的特征， 并对特征进 行实时处理， 最终实现对目 标工件的定位。 [0003]Mark点定位是最常见的机器视觉定位技术。 Mark点也叫基准点， 是为IC产业装配 工艺过程中所有步骤提供的共同定位测量点。 用来保证装配过程中， 每个设备、 每个器件能 准确地定位到原本设计到的位置上。 Mark点有多种形状， 常用的形状包括圆形、 十字线型、 矩形、 三角形以及由多个 基本形状组成的复合形状， 如图1所示。 [0004]例如， 无掩模激光直接成像设备(Laser  Direct Imaging， LDI)要将电路图准确印 刷在PCB板上， 要求对PCB板上圆形通孔Mark点进行高精度定位， 如图2所示。 LID首先要在操 作平台上， 利用圆形通孔形成的Mar k标识对放置在操作平台上的PCB母版进 行高精度定位。 然后根据定位信息， 将电路图按照定位位置信息印刷在PCB母版上。 就图2所示的例子中， 印 刷后， 电路图中白色的孔与下图PCB母版中的Mark标识要对齐。 [0005]另外一方面， 随着IC集成度越来越高， 元器件密度也不断增大， 对机器视觉定位的 精度要求也越来越高。 在高密度电路板(High  Density Interconnector， HDI)印刷生产中， Mark点的定位精度一般要求在20微米( μm)以下。 随着手机、 汽车电子等终端IC产品的持续 向着智能化、 集约化、 小 型化方向发展， 需要有能适应多种条件的稳定的高精度Mar k点定位 算法。 [0006]近几十年来， 国内外研究者提出了多种Mark点的定位算法， 主要分为基于模板匹 配和基于霍夫(Hough)变换算法。 现有算法主要流程包含三个步骤： 首先对输入原始图像进 行包含二值化、 滤波等预处理操作； 其次使用包括Sift， HOG， DPM等特征提取算法提取特征； 最后使用定位算法对Mark点进 行定位。 现有的Mar k点定位算法严重依赖于原始图像的预 处 理和人工手动选取的目标特征， 普遍存在抗干扰能力弱、 泛化能力差、 变化的多样条件下鲁 棒性不强的问题。 Sift、 HOG等算子的核心思想是描述Mar k点边缘的梯度或者边缘方向的分 布， 当Mark 点边缘对比度不高时， 如图3所示的情况， 二 值化和滤波等预处 理操作变得困难。 [0007]此外， Mark标识图像受到噪声影响时， 人工提取的特征会受到严重干扰， 导致Mark 点定位算法精度下降甚至失效； Mark定位算法在算法参数设定后， 当遇到Mark点图形不完 整， 或者受到污染存在瑕疵时， 无法动态调整， 最 终导致Mar k点定位失败。 而且， 现有算法设说　明　书 1/4 页 3 CN 115496903 A 3