(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210362124.9 (22)申请日 2022.04.07 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 程良伦　曾炜峰　黄国恒　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/40(2017.01) G06T 7/90(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自监督对比学习的复杂纹理及 图 案色差检测方法 (57)摘要 本发明涉及工业检测技术领域， 公开了一种 基于自监督对比学习的复杂纹理及图案色差检 测方法， 包括以下步骤： S1.构建带标签的原始数 据集； S2.对原始数据集进行数据增强， 得到增强 数据集； S3.通过编码器提取增强数据集的图像 特征； S4.将增强后数据的图像特征通过投影网 络对图像特征进行投影操作， 得到嵌入向量； S5. 根据得到的嵌入向量， 计算增强数据集中不同的 图像间的相似度和预训练的对比损失， 并根据对 比损失改进编码器； S6.在改进后的编码器后面 接入分类网络， 替换投影网络， 通过改进后的编 码器重新获取改进后图像特征， 并对增强数据集 中的图像进行分类检测。 本发明解决了现有技术 主观性大， 相邻色差等级的检测容易误检的问 题。 权利要求书3页 说明书10页 附图3页 CN 114723707 A 2022.07.08 CN 114723707 A 1.一种基于自监督对比学习的复杂纹理及图案色差检测方法， 其特征在于： 包括以下 步骤： S1.得到原 始图像， 根据色差分级标准， 构建带 标签的原 始数据集； S2.对原始数据集进行 数据增强， 得到增强数据集； S3.开始预训练， 通过编码器提取增强数据集的图像特 征； S4.将增强后数据的图像特 征通过投影网络对图像特 征进行投影操作， 得到嵌入向量； S5.根据得到的嵌入向量， 计算增强数据集中不同的图像间的相似度和预训练的对比 损失， 并根据对比损失改进编码器， 结束预训练； S6.在改进后的编码器后面接入分类网络， 替换投影网络， 通过改进后的编码器重新获 取改进后图像特 征， 并对增强数据集中的图像进行分类 检测。 2.根据权利要求1所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 步骤S1， 具体步骤为： S101.从待分析对象中采集数量 为N， 分辨率为w×h的样本图像数据集； S102.根据色差等级划分标准， 对每张样本图像进行标注工作， 将原始数据集记为I＝ {I1,I2,……,IN}。 3.根据权利要求2所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 步骤S2， 具体步骤为： S201.将原 始数据集按批大小为 n划分成若干 批次， 并通过变换函数RT： RT＝random(fl ip,rotate,crop,zo om) 按批次对原始样本图像数据进行数据增强， 其中random代表随机选择函数， flip代表 翻转变换， rotate代 表旋转变换， crop代 表裁剪变换， zo om代表缩放变换； S202.每一批次的数据集中的每一张样本图像Ii依次通过随机函数 随机选择两种增强 变换类型进行增强； S203.输出得到数量 为2N， 分辨 率为w×h的增强数据集。 4.根据权利要求3所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 编码器提取增强后的数据集的图像特 征， 具体步骤为： A01.通过卷积层将分辨率为w ×h， 通道数为Cinput的增强图像处理为分辨率为 通 道数为64的张量C1： C1＝Conv7_2(Cinput) 其中， Conv7_2表示卷积层的卷积核尺寸 为7， 卷积核步长为2； A02.将张量C1依次通过批标准 化层、 激活函数层得到特 征图C2， C2＝ActReLU(BN(C1)) 其中， BN表示批标准 化层， ActReLU表示激活函数； A03.将特征图C2通过最大池化层， 得到的形状为 的特征图C3： C3＝MaxP3_2(C2) 其中， MaxP3_2表示池化核大小为3， 池化核步长为2的最大池化层； A04.特征图C3依次通过Stage1、 Stage2、 Stage3、 Stage4四个残差学习阶段， 得到图像特 征向量H：权　利　要　求　书 1/3 页 2 CN 114723707 A 2Stage1:C4＝BTK2(BTK2(BTK1(C3))) Stage2:C5＝BTK2(BTK2(BTK2(BTK1(C4)))) Stage3:C6＝BTK2(BTK2(BTK2(BTK2(BTK2(BTK1(C5)))))) Stage4:H＝BTK2(BTK2(BTK1(C6))) 其中， BTK1()表示残差结构的 Ⅰ型瓶颈块， BTK2()表示残差结构的 Ⅱ型瓶颈块， C4为经 过残差学习阶段Stage1得到的特征图， C5为经过残差学习阶段Stage2得到的特征图， C6为经 过残差学习阶段Stage3得到的特征图， H为经过残差学习阶段Stage4得到的m维的特征向 量。 5.根据权利要求4所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 将增强后数据的图像特征通过 投影网络对图像特征进 行投影操作， 得到嵌入向量， 具体为： 将H 输入到实现非线性变换的投影网络中， 过程表达式如下： z＝FC(ActReLU(Dense(H) )) 其中， FC为全连接层， z为投影表示得到的嵌入向量。 6.根据权利要求5所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 根据得到的嵌入向量， 计算增强数据集中不同的图像间的相似度和预训练的对比 损失， 具体为 B01.通过增强数据集中任 意两个增强图像Ai和Aj的嵌入向量zi和zj， 计算两个增强图像 Ai和Aj之间的余弦相似度： 其中， σ 是可调 参数， 用于缩放输入， 并扩大余弦相 似度的范围[ ‑1,1]， ‖zi‖和||zj||表 示嵌入向量的模； B02.将相似的余弦相似度凑成对， 计算噪声对比估计损失l(i,j)： 其中， k为函数计数值； B03.在图像位置互换的情况 下， 再一次计算同一对图像的对比估计损失l(j,i)： B04.计算batc h大小为n的所有配对的损失并取平均值， 得到对比损失LN： B05.根据LN固定编码器权 重， 结束预训练。 7.根据权利要求1所述的基于自监督对比学习的复杂纹理及图案色差检测方法， 其特 征在于： 所述的分类网络包括三个Dense块， 所述的Dense块为包括若干层的模块， 其中每个 层的特征图大小相同； 在分类网络中， 增强后数据的图像特征通过一个卷积层后依 次通过 三个Dense块后通过池化层和线性函数层后输出结果， 相 邻的两个Dense块之间通过一层卷 积层加一层池化层连接 。权　利　要　求　书 2/3 页 3 CN 114723707 A 3