(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210943442.4 (22)申请日 2022.08.08 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市金鸡 路1号 (72)发明人 黄春跃　张怀权　廖帅冬　李茂林　 龚锦锋　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 罗玉荣 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/00(2006.01) G06F 16/36(2019.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06F 16/332(2019.01) G06F 16/338(2019.01) G06F 16/33(2019.01) G06F 16/31(2019.01) G06F 40/279(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于机器视觉与知识谱图的SMT产品缺陷分 析系统及方法 (57)摘要 本发明公开了一种基于机器视觉与知识图 谱的SMT产品缺陷分析系统， 所述系统采用现有 技术中的X射线成像技术、 机器视觉、 知识图谱和 深度学习技术， 其特征在于， 包括顺序连接的操 作对象、 机器视觉识别单元、 图片预处理单元、 缺 陷识别单元、 缺陷分析单元和产品缺陷知识图谱 单元， 缺陷分析单元外接故障信息呈现单元。 这 种系统搭建容易， 组网快捷， 本发明同时还公开 了基于机器视觉与知 识图谱的SMT产品缺陷分析 系统的分析方法， 这种方法能在SMT生产过程中 实现SMT产品缺陷的快速检测、 快速分析并对缺 陷产品快速处 理提供依据。 权利要求书3页 说明书7页 附图2页 CN 115222726 A 2022.10.21 CN 115222726 A 1.一种基于机器视觉与知识图谱的SMT产品缺陷分析系统， 所述系统采用现有技术中 的X射线成像技术、 机器视觉、 知识图谱和深度学习技术， 其特征在于， 包括顺序连接的操作 对象、 机器视觉识别单元、 图片预处理单元、 缺陷识别单元、 缺陷分析单元和产品缺陷知识 图谱单元， 缺陷分析 单元外接故障信息呈现单 元， 其中： 操作对象即SMT生产线上进入到最后一个生产环 节的待质量检测的SMT产品； 机器视觉识别单元设有摄像头成像模块和X射线成像模块， 摄像头成像模块采用 传统 光学成像原理进 行成像， 用于对S MT产品外观信息的提取， 摄像头成像模块将印制线路板上 各个元器件的形状、 位置、 角度 物理信息 即器件布局图转换为以像素形式存在的数字信息， X射线成像模块用于印制线路板与元器件间焊点信息的提取，  X射线成像模块将印制线路 板与元器件间焊点的形态、 位置物理信息即焊点形态图转换为一像素形式存在的数字信 息； 图片预处理单元是对图片的格式、 大小进行处理的功能模块， 图片预处理单元将摄像 头成像模块得到的器件布局图和X摄线成像模块得到焊点形态图处理成为尺寸大小一样的 RGB图； 缺陷识别单元是在Pytorch框架下搭建的基于深度学习模型YOLOv5 的SMT产品缺陷识 别模型、 用于识别SMT产品缺陷的视 觉识别； 产品缺陷知识图谱单元是采用图数据库Neo4j建立的基于 “图”数据结构的图数据库， 产品缺陷知识图谱单元中的产品缺陷知识图谱建立SMT生产过程中各类产品缺陷与造成缺 陷原因和解决产品缺陷方法的关系； 故障信息呈现单元设有故障报 警模块和故障信 息呈现模块， 故障报 警模块当系统检测 到SMT产线生产的产品出现缺陷时， 故障警报模块自动发出声、 光报警， 当系统检测到S MT产 线生产的产品出现缺陷时， 故障信息呈现 界面将缺陷分析单元发给故障信息呈现单元的故 障造成原因、 故障解决方案和标有故障位置、 故障类型 的器件布局图和焊点形态图展示在 故障信息呈现界面上； 缺陷分析单元首先根据缺陷识别单元输出的产品缺陷类型、 缺陷位置对机器视觉识别 单元输出 的器件布局图、 焊点形态图进行产品缺陷位置和类型的自动标注， 其次根据缺陷 识别单元输出的缺陷类型生 成对应的Neo4j图数据库查询语句对产品缺陷知识图谱单元的 图数据库进行查询， 缺陷分析单元最后 将依据产品缺陷知识图谱单元的图数据库查询得到 的造成缺陷的原因及解决方案和标注缺陷类型、 缺陷位置的器件布局图和焊点形态图传输 给故障信息呈现单 元。 2.一种基于机器视觉与知识谱图的SMT产品缺陷分析方法， 包括权利要求1所述的基于 机器视觉与知识图谱的SMT产品缺陷分析系统， 其特 征在于， 所述方法包括如下步骤： 1） 建立基于 机器视觉与知识图谱的SMT产品缺陷分析系统： 包括： 1‑1） 在SMT生产线的最后一个环 节SMT产品出口处设置 机器视觉识别单 元； 1‑2） 搭建SMT产品缺陷知识图谱单 元的产品缺陷知识图谱： 包括： 1‑2‑1） 建立缺陷实体抽取模型； 1‑2‑1‑1） 到SMT生产企业收集SMT产品缺陷分析报告 文档资料； 1‑2‑1‑2） 从步骤1 ‑2‑1‑1） 中收集到的SMT产品缺 陷分析报告文档资料中筛选出部分缺 陷分析文本用于制作缺陷实体识别模型训练数据集；权　利　要　求　书 1/3 页 2 CN 115222726 A 21‑2‑1‑3） 在Pytorc h框架下搭建缺陷实体识别模型； 1‑2‑1‑4） 依据步骤1 ‑2‑1‑2） 得到的缺陷实体识别模型训练数据集训练步骤1 ‑2‑1‑3） 的缺陷实体识别模型； 1‑2‑2） 抽取缺陷实体， 建立知识图谱； 1‑2‑2‑1） 依据步骤1 ‑2‑1‑4） 训练好的缺陷实体识别模型对步骤 1‑2‑1‑1） 的SMT产品缺 陷分析报告 文档资料进行缺陷实体抽取操作得到SMT产品缺陷分析报告的缺陷实体； 1‑2‑2‑2） 依据步骤1 ‑2‑2‑1） 得到的缺陷实体采用图数据库Neo4j建立SMT产 品缺陷知 识图谱； 1‑3） 搭建并训练缺陷识别单 元的SMT产品缺陷识别模型： 1‑3‑1） 制作缺陷识别模型的训练数据集： 包括： 1‑3‑1‑1） 到SMT生产企业收集SMT产品缺陷图片； 1‑3‑1‑2） 对步骤1 ‑3‑1‑1） 中收集到的SMT产品缺陷图片进行人工标注， 标注出图片中 的缺陷位置和缺陷类型， 建立 缺陷识别模型的训练数据集； 1‑3‑2） 在Pytorch深度学习开发环境下搭建基于深度学习模型YOLOv5的SMT产 品缺陷 识别模型； 1‑3‑3） 依据步骤1 ‑3‑1‑2） 得到的缺陷识别模型的训练数据集训练步骤1 ‑3‑2） 搭建的 SMT产品缺陷识别模型， 得到SMT产品缺陷识别模型； 1‑4） 完成图片预处理单元、 缺陷分析单元、 故障信息呈现单元的算法设计与实现： 包 括： 1‑4‑1） 采用pytho n语言编写图片预处 理单元的文件处 理算法和图片处 理算法； 1‑4‑2） 采用pytho n语言编写缺陷分析 单元的的Neo4j图数据库的查询语句生成算法； 1‑4‑3） 采用C#语言开发故障信息呈现单元中故障信息呈现模块的界面展示算法、 故障 信息呈现单元中故障信息呈现模块与故障报警模块的通信算法以及故障信息呈现单元中 故障报警模块的声、 光报警驱动算法； 1‑5） 将步骤1 ‑1） 到步骤1 ‑4） 中建立的各单元连接成完整的系统， 完成基于机器视觉与 知识谱图的SMT产品缺陷分析系统的搭建； 2） 依据步骤1） 搭建好的系统进行SMT产品缺陷分析： 包括： 2‑1） SMT生产线生产好的SMT产品被产线中的传送带运输到步骤1 ‑1） 中机器视觉识别 单元的产品检测位置； 2‑2） 机器视觉识别单元的摄像头成像模块提取出SMT产品中的元器件布局信息， X射线 成像模块提取出SMT产品的焊点形态信息， 并把提取到的元器件布局信息和 焊点形态信息 转换为以像素存在的数字信息传输给图片预处 理单元； 2‑3） 图片预处理单元对视觉识别单元输出的器件布局图和焊点形态图进行图片预处 理， 使图片预处理单元输出 的预处理后的器件布局图和焊点形态图以尺寸大小一样的RGB 图传输给缺陷识别单 元； 2‑4） 缺陷识别单元的SMT产品缺陷识别 模型对图片预处理单元输入的预处理后的器件 布局图和 焊点形态图进行分析， 判断SMT产品是否存在缺陷以及存在的缺陷类型和缺陷位 置， 并把分析的结果传输给缺陷分析 单元； 2‑5） 当缺陷识别单元分析得出SMT产品没有缺陷时， 缺陷分析单元不通过产品缺陷知权　利　要　求　书 2/3 页 3 CN 115222726 A 3