(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210326953.1 (22)申请日 2022.03.30 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 高飞　杨芳芳　卢书芳　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 汤明 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的卷装长丝表面瑕疵检 测方法 (57)摘要 本发明提出了一种基于深度学习的卷装长 丝表面瑕疵检测方法， 通过工业相机采集卷装长 丝图像， 同时建立含有多种不同缺陷类型和不同 缺陷级别的卷装长丝表面缺陷图片库， 并对 此类 图像进行预处理， 而后采用深度学习中的骨干网 络VGGNet作为基本特征提取器对图片库进行多 尺度特征提取， 分别提取图片库相应缺陷类别特 征和级别特征， 最后采用目标检测模块对被测图 片进行分割定位， 输出缺陷类别数 以及预测框。 通过深度学习技术可以对卷装长丝的多种不同 缺陷检测与分类， 不仅能捕获更高级别的像素及 区域信息， 还 可以表示缺陷区域周围的信息语义 上下文， 有更强的通用性， 大大提高其准确率和 效率， 对工业视 觉检测领域有重大意 义。 权利要求书1页 说明书4页 附图2页 CN 114820453 A 2022.07.29 CN 114820453 A 1.一种基于深度学习的卷装长 丝表面瑕疵检测方法， 其特 征在于， 包括如下步骤： 1)通过工业相机采集卷装长丝图片， 同时建立含有多种不同缺陷类型和不同缺陷级别 的卷装长 丝表面缺陷图片库； 2)对卷装长 丝图片进行 预处理； 3)采用深度学习中的骨干网络VGGNet作为基本特征提取器对图片库进行多尺度特征 提取， 分别提取图片库相应缺陷类别特 征和级别特 征； 4)根据特 征图片和已标记样本对未 标记样本进行分类， 得到伪标签； 5)最后采用目标检测模块对被测图片进行分割定位， 输出缺陷类别数以及预测框 。 2.根据权利要求1所述的一种基于深度学习的卷装长丝表面瑕疵检测方法， 其特征在 于， 所述步骤1)具体为： 通过搜集和标记卷装长丝表 面缺陷图片， 建立卷装长丝表面缺陷图 片库； 缺陷图片库包含卷装长丝的多种已标记且分类的卷装长丝表面缺陷图片； 另外， 卷装 长丝表面缺陷图片库涵盖毛丝、 卷径大小、 绊丝、 网丝、 污丝、 成形不良、 无尾、 多尾、 僵丝、 纸 管损坏、 断头、 上尾丝共十二种缺陷类别。 3.根据权利要求1所述的一种基于深度学习的卷装长丝表面瑕疵检测方法， 其特征在 于， 所述步骤2)具体为： 2.1)采用加权平均值法对彩色卷装长 丝图像进行 灰度化； 2.2)对光照不匀的图像进行同态滤波； 2.3)采用自适应 中值滤波对上述图像进行去噪处理， 即取出滤波器作用区域内的中值 作为该区域的中心像素的值。 4.根据权利要求1所述的一种基于深度学习的卷装长丝表面瑕疵检测方法， 其特征在 于， 所述步骤3)具体为： 网络采用不同大小卷积核组成卷积组， 使用2 ×2的最大值池化， 用 全卷积层fully ‑convolutional  net替代全连接层， 重用训练时的参数使测试所得全卷积 网可接收任意宽高输入， 进行多尺度特征提取； 在原VGGNet中， 利用全连接层对卷积层 进行 等效替代， 并在原VGGNet上去掉 fc8， 将fc6、 fc7替换为卷积层Conv6,Conv7， 在VGGNet后增 加两个额外卷积层Co nv8_1,Co nv8_2， 在Co nv1和Conv7之间的卷积层都有Relu激活功能。 5.根据权利要求1所述的一种基于深度学习的卷装长丝表面瑕疵检测方法， 其特征在 于， 所述步骤4)具体为： 对任一未标记样本xi的伪标签为c， 其与类别c中所有nc个标记样本XC＝{xc1,xc2,…, xcnc}的相似度计算如式(1)， 将伪标签可信度作为权 重来调整网络模型参数； 其中， 为xi对应的特 征图像归一 化向量。 6.根据权利要求1所述的一种基于深度学习的卷装长丝表面瑕疵检测方法， 其特征在 于， 所述步骤5)具体为： 采用目标检测模块ODM对待被测图片进行分割定位， 输出多分类任务的缺陷类别数C以 及回归任务预测框的四个坐标值xmin,ymin,width,height,其中xmin,ymin是预测框相对于其 所在单元格的偏移； w idth,height分别是 预测的边界框 宽和高； ODM由四个卷积层组成。权　利　要　求　书 1/1 页 2 CN 114820453 A 2一种基于深度学习的卷装长丝表面瑕疵检测方 法 技术领域 [0001]本发明涉及工业视觉检测领域， 具体是一种通过深度学习对卷装长丝表面瑕疵检 测的方法。 背景技术 [0002]随着我国化纤工业持续快速发展， 化纤产业成为战略性新兴产业的重要组成部 分。 在化纤生产线 上， 由于加工工艺过程中加工速度过高、 张力不均、 假捻不充分、 组件喷丝 状态不良以及卷绕过程中纸管跳动等原因， 导致成品会有毛丝、 绊丝、 僵丝、 成型不良等问 题， 这严重影响了产品质量以及企业效益。 因此， 缺陷检测是化纤长丝生产过程中质量保证 的重要环 节。 [0003]传统人工检测缺陷的方法存在效率低、 劳动强度大、 实时性差、 准确性不高等弊 端， 而基于深度学习的检测方法可以在很大程度上克服人工检测存在的缺陷。 该方法不但 可以精确 地识别出各类缺陷， 而且还能够保证检测过程的实时性要求， 即能够大幅度提高 化纤卷装的生产效率， 节省企业的生产成本。 随着计算机视觉技术的发展， 基于自动化工业 视觉的纺织品检测方法得到广泛应用。 缺陷检测算法可以分为两类： 传统算法和基于学习 的算法。 一般来说， 织物图像可以被视为由相似的、 周期性的纹理基元组成， 这些纹理基元 可以通过精心设计的过滤器去除， 因此传统算法通常采用手工制作的特征。 利用传统算法 针对纺织品缺陷检测， 已有不少先例： Raheja等(Fabric  defect detection  based on  GLCM and Gabor filter:A  comparison[J].Op tik,2013,124(23):6469 ‑6474)提出了一种 基于灰度共生矩阵(GLCM)的方法， 可用于描述统计纹理信息， 通过比较无缺陷图像和测试 图像之间的各种统计信息来识别缺陷区域。 在光谱 学方法中， 局部傅里叶变换和Gabor变换 在工业上得到了广泛的应用。 Jinget等(Fabric  defect detection  using Gabor filters  and defect classification  based on LBP and Tamura method[J].Journal  of the  Textile Institute,2 013,104(1):18 ‑27)提出通过对输入图像的Gabor响应图进行阈值化 来实现缺陷区域定位， 再采用Tamura方法和LBP等纹理描述符训练分类器进行织物疵点分 类。 发明专利申请号为： CN201910368648.7， 名称为： 一种涤纶长丝的表观检测方法。 该发 明 通过训练学习建立涤纶长丝表面磨损的等级模型， 并把特征参数导入数据库中作为和实测 涤纶长丝特征参数 的对比数据,从而预测出实测涤纶长丝的表面磨损等级数。 发明专利申 请为号:CN201810975946.8， 名称为： 一种卷装长丝的毛丝缺陷检测方法， 通过确定目标图 像子图像中的短线的线条几何参数并设定阈值比较来判断卷装长 丝是否存在毛丝缺陷。 [0004]综合来看， 目前对于卷装长丝缺陷检测的方法都有较强的局限性， 传统算法只能 捕获低级别的像素及区域信息， 不足以表示缺陷区域周围的信息语义上下文， 而且提取 的 特征只能用于特定类型 的织物缺陷检测； 但长丝卷装疵点类型繁多， 针对每种不同缺陷类 型都单独设计检测方法太过耗时耗力。 为此， 基于深度学习和缺陷检测， 提出了一种基于深 度学习技 术的卷装长 丝表面缺陷检测方法。说　明　书 1/4 页 3 CN 114820453 A 3