(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210542951.6 (22)申请日 2022.05.18 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 丁晟　陈海永　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于嵌入余弦自注意力模块的光伏电池外 观缺陷检测方法 (57)摘要 本发明为基于嵌入余弦自注意力模块的光 伏电池外观 缺陷检测方法， 该方法用于光伏电池 外观缺陷检测， 包括下述步骤： 第一步： 利用工业 相机采集光伏电池图像， 作为缺陷检测的原始图 像； 原始图像包括无缺陷的图像和含有待检测缺 陷的图像； 第二步： 对采集到的所有含有待检测 缺陷的原始图像进行标注形成标签， 并将所有的 标签分为不同的数据集； 第三步： 通过嵌入余弦 自注意力模块的yolov3网络对缺陷图像进行特 征提取。 该方法融合了浅层和深层特征， 增强对 不同尺度缺陷特征的检测能力， 能对常见不同类 型的光伏电池表面缺陷进行实时检测并进行缺 陷定位， 提高不同种类以及相似 结构缺陷识别的 准确率， 能满足实际光伏电池工业生产的实时性 和准确性要求。 权利要求书4页 说明书6页 附图2页 CN 114898088 A 2022.08.12 CN 114898088 A 1.一种基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法， 该方法用于光伏电 池外观缺陷检测， 包括下述 步骤： 第一步： 利用工业相机采集光伏电池图像， 作为缺陷检测的原始图像； 原始图像包括无 缺陷的图像和含有 待检测缺陷的图像； 第二步： 对采集到的所有含有待检测缺陷的原始图像进行标注形成标签， 并将所有的 标签分为 不同的数据集； 第三步： 通过嵌入余弦自注意力模块的yo lov3网络对缺陷图像进行 特征提取； 第四步： 首先设置模型训练参数和初始权重， 然后读取训练集中的图像并将训练图像 缩放至608*608像素， 缩放后的图像通过嵌入余弦自注意力模块的yolov3网络进行特征提 取， 并利用K ‑means聚类方法对训练图像自动生 成锚框， 以锚框的尺寸作为先验框通过边框 回归预测得到边界框， 然后使用logistic分类器对边界框进行分类， 获得每个边界框对应 的缺陷类别分类概率； 再通过非极大值抑制法对所有边界框的缺陷类别分类概率进行排 序， 确定每个边界框对应的缺陷类别， 得到预测值； 然后通过损失函数计算预测值和真实值 之间的训练损失； 再根据训练损 失的变化来动态调整学习率与迭代次数， 训练分为两个阶段， 第一阶段 是训练开始的前500个周期， 初始学习 率固定为0.001； 第二阶段是指50个周期之后的训练 周期， 初始学习率设置为0.0001， 当训练损失趋于稳定的时候， 学习率依次变为原 来的十分 之一， 设置最终学习率 为0.00001， 直到学习率减小到最终学习率0.0 0001时训练停止； 第五步： 将测试用的图像缩放至608*608像素并输入嵌入余弦自注意力模块的yolov3 网络进行 特征提取中进行检测。 2.根据权利要求1所述的基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法， 其特征在于， 所述嵌入余弦自注意力模块的yolov3网络中的余弦自注 意力模块用于精细化 提取待检测缺陷特 征； 所述的余弦自注意力模块具体过程是： 特征x经过reshape操作改变维度， 再经过转置 操作获得变换后的x， 变换后的x的大小为WH*C， 同时特征x经过reshape操作得到重塑后的 特征g(x)， 变换后的x与重塑后的特征g(x)特征相 乘， 计算出余弦相似度映射 f， 得到相似度图； 而后利用sofmax函数对相似度图进 行归一化， 形成注 意图， 将注 意图与重 塑后的特征 相乘； 其中， N＝WH表示之前特征图中的总位置数， W为特征图的宽， H 为特征图的高； 最后， 将注意图与重塑后的特征 相乘的结果再经过reshape操作被再次重 塑为特征 再次重塑特征 与输入特征x进行逐元素求和运算得到最终输出特 征图 3.根据权利要求1所述的基于嵌入余弦自注意力模块的光伏电池外观缺陷检测方法， 其特征在于， 该检测方法具体包括以下步骤： 第一步： 获取图像 利用工业相机采光伏电池图像， 作为缺陷检测的原始图像； 原始图像包括无缺陷的图 像和含有 待检测缺陷的图像； 含有 待检测缺陷的图像必须包 含所有待检测缺陷种类；权　利　要　求　书 1/4 页 2 CN 114898088 A 2第二步： 制作数据集 制作yolov3网络的数据集， 具体以Pascal  VOC2007的标准格式为模板， 主要包含以下 几个步骤： 2‑1、 建立数据集存放文件夹； 新建VOCdevkit文件夹， 在VOCdevkit文件夹下VOC2007文件夹； 在VOC2007文件夹下分 别建立Annotations文件夹、 JPEGImages文件夹以及ImageSets文件夹三个文件夹， 在 ImageSets文件夹下建立Main文件夹； 在Main文件夹下建立train.txt、 val.txt、 test.txt 以及trainval.txt四个文件， 分别用于存放训练集、 验证集、 测试集和训练验证集； Annotations文件夹用于存放所有标注后的图像的xml文件， JPEGImages文件夹用于存放分 割后的小图像； 2‑2、 切割图像； 对采集到的所有含有待检测缺陷的原始图像利用滑动分割 进行切割， 将每张含有待检 测缺陷的原始图像均匀切割成大小相等的16张小图像， 并将所有的小图像保存在 JPEGImages文件夹中； 对原 始图像进行分割， 保留待检测缺陷的原 始像素； 2‑3、 标注图像； 使用软件Labelimg对步骤2 ‑2中所有含有待检测缺陷的小图像进行手动标定， 将其中 的缺陷部分标注出来； 然后每张标注后的图像都生成一个包含有图片名称、 缺陷种类和缺 陷位置坐标的xml文件， 一个xml文件即为一个标签， 并将所有的xml文件保存在 Annotations文件夹中； 2‑4、 对数据集进行分组 将所有的xml文件按照比例分成VOC2007数据集中的训练集train.txt、 验证集 val.txt、 训练验证集trainval.txt和测试集test.txt； 首先提取Annotations文件夹中所 有的xml文件， 然后将所有的xml文件按照4:1的比例分为两组， 分别作为训练集和验证集， 训练验证集为训练集和验证集的总和， 并将各个数据集对应的xml文件的文件名保存至相 应的txt文件中； 第三步： 网络模型设计 选取darknet ‑53网络作为特征提取网络， 特征提取网络主要分为五个阶段， 每个阶段 包括一个或多个卷积块层， 每个卷积块层均为两个卷积层和一个残差连接； 其中， 第一阶段 包括一个卷积块层， 第二阶段包含两个卷积块层， 第三、 四阶段均包含八个卷积块层， 第五 阶段包含四个卷积块层； 除第 五阶段外， 其余四个阶段还包括一个位于所有卷积块层之后 的用于改变特 征图尺寸的下采样卷积层； 输入的目标图像被逐层计算提取特征， 输入的目标图像大小为608*608*3， 其中宽高都 是608， 通道数为3， 依次经过一个卷积核大小为3*3、 步长为1、 通道数为32的卷积层和一个 卷积核大小为3*3、 步长为2、 通道数为64的下采样层后得到第一阶段的输入 特征， 第一阶段 输入特征的尺 寸为304*304*64； 第一阶段的输入特征依次经过一个卷积核大小为1*1、 步长 为1、 通道数为32和一个卷积核大小为3*3、 步长为 1、 通道数为64的两个卷积层、 一个残差连 接以及一个卷积核 大小为3*3、 步长为2、 通道数为 128的下采样层后得到第一阶段的输出特 征， 其尺寸为152*152*128； 第一阶段的输出特征依次经过卷积核大小分别为1*1、 3*3， 步长 均为1， 通道数分别为64、 128的两个卷积和一个残差连接后得到第二阶段第一卷积块层的权　利　要　求　书 2/4 页 3 CN 114898088 A 3