(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211503065.9 (22)申请日 2022.11.29 (71)申请人 福建帝视智能科技有限公司 地址 350000 福建省福州市福清市音西街 道音西村宏远大厦13层西中南侧 (72)发明人 郑伟鑫　杨和　刘文哲　童同　 高钦泉　 (74)专利代理 机构 福州市博深专利事务所(普 通合伙) 35214 专利代理师 张明 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/74(2022.01) G06V 10/764(2022.01) (54)发明名称 一种焊点缺陷分类方法、 终端及计算机存储 介质 (57)摘要 本发明公开了一种焊点缺陷分类方法、 终端 及计算机存储介质， 获取参照图像和待检测焊点 图像， 所述参照图像为良品数据图像； 将待检测 焊点图像和参照图像输入孪生网络， 以获取待检 测焊点图像与参照图像的相似程度和缺陷类型； 所述孪生网络包括特征提取模块、 匹配支路和分 类支路； 所述特征提取模块用于提取参照图像和 待检测焊点图像的残差特征， 所述匹配支路用于 根据残差特征以判断参照图像和待检测焊点图 像的相似程度， 所述分类支路用于根据残差特征 以判断待检测焊点图像的缺陷类型。 特征提取器 通过对参照图像和待检测焊点图像进行特征提 取， 从而获得目标图像与参照图像 之间的残差特 征， 进而根据残差特 征判断缺陷种类 。 权利要求书2页 说明书5页 附图2页 CN 115546211 A 2022.12.30 CN 115546211 A 1.一种焊点 缺陷分类方法， 其特 征在于， 包括 步骤： S1、 获取参照图像和待检测焊点图像， 所述 参照图像为良品数据图像； S2、 将待检测焊点图像和参照图像输入孪生网络， 以获取待检测焊点图像与参照图像 的相似程度和缺陷类型； 所述孪生网络包括特 征提取模块、 匹配支路和分类支路； 所述特征提取模块用于提取参照图像和待检测焊点图像的残差特征， 所述匹配支路用 于根据残差特征以判断参照图像和待检测焊点图像的相似程度， 所述分类支路用于根据 残 差特征以判断待检测焊点图像的缺陷类型。 2.根据权利要求1所述的一种焊点缺陷分类方法， 其特征在于， 所述特征提取模块包括 参数共享且结构大小完全一致的第一特征提取器和 第二特征提取器， 第一特征提取器用于 提取参照图像的深层特征， 第二特征提取器用于提取待检测焊点图像的深层特征， 所述特 征提取模块计算参照图像的深层特征和待检测焊点图像的深层特征的差作为所述残差特 征。 3.根据权利要求2所述的一种焊点缺陷分类方法， 其特征在于， 每个特征提取器均包括 RepVGG模块与maxpool层， 特征提取器的输入经过n个由RepVGG模块、 RepVGG模块和maxpool 层依次连接的子模块后依次经 过两个RepVG G模块输出。 4.根据权利 要求3所述的一种焊点缺陷分类方法， 其特征在于， 所述RepVGG模块在训练 时为多分支结构， 在使用时为多分支结构转换成的单分支结构。 5.根据权利要求4所述的一种焊点缺陷分类方法， 其特征在于， 所述多分支结构包括并 联的3×3卷积层、 1 ×1卷积层和跳跃 结构， 所述单分支结构包括3 ×3的卷积层。 6.根据权利要求1所述的一种焊点缺陷分类方法， 其特征在于， 在训练所述孪生网络 时， 实现以下步骤： A1、 获取焊点的原始数据， 对原始数据进行裁剪和分类， 构件图像数据集， 所述裁剪和 分类是将原 始数据中的焊点部分进行提取并且按缺陷的种类进行划分； A2、 从原始数据中筛 选出良品数据作为 参照图像； A3、 根据损失函数对孪生网络进行训练； 所述损失函数 为： ； 式中， 为分类支路相关的损失函数， 而 为匹配支路相关的损失函数， 为权重系 数。 7.根据权利要求6所述的一种焊点缺陷分类方法， 其特征在于， 分类支路相关的损失函 数 为： ； 匹配支路相关的损失函数 为： ； 式中， y为标签的真实值， 为预测的概 率值。 8.根据权利要求6所述的一种焊点缺陷分类方法， 其特征在于， 所述根据损失函数对孪权　利　要　求　书 1/2 页 2 CN 115546211 A 2生网络进行训练具体是采用余弦退火策略进行训练。 9.一种焊点缺陷分类终端， 包括存储器、 处理器及存储在存储器上并可在处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求 1‑8任一项 所述的方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115546211 A 3