(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528722.9 (22)申请日 2022.05.16 (71)申请人 南京信息 工程大学 地址 210000 江苏省南京市宁六路219号 (72)发明人 宋公飞　王明　张子梦　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 陈国强 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于CTPN的布匹缺陷检测方法 (57)摘要 本发明公开了基于CTPN的布匹缺陷检测方 法， 包括以下步骤： S1： 布匹数据集图像信息的获 取； S2： 布匹数据集 图像样本的划分； S3： 布匹数 据集图像的特征提取； S4： 布匹数据集基于CTPN 的模型构建： (1)图像预处理模块； (2)网络框架 优化:更换为Mobilenetv2的网络作为特征提取 器； (3)使用双向LSTM； (4)特定anchor设计模 块； (5)后处理模块； S5： 布匹数据集的缺陷检测。 本 发明稳定、 可靠， 泛化能力强， 可直接推广， 完全 抛弃了传统算法， 增加模型的鲁棒性， 大大提升 布匹缺陷定位的准确率， 不仅满足了布匹缺陷检 测的精度， 而且减少3/4推理的时间， 加快了工业 级纺织厂布匹检测算法落 地。 权利要求书2页 说明书5页 附图5页 CN 115239615 A 2022.10.25 CN 115239615 A 1.基于CTPN的布匹缺陷检测方法， 其特 征在于， 包括以下步骤： S1： 布匹数据集图像信息的获取： 利用摄 像头采集到多张布匹缺陷图片； S2： 布匹数据集图像样本的划分； S3： 布匹数据集图像的特 征提取； S4： 布匹数据集基于 CTPN的模型构建： (1)图像预处理模块:工业仪表的预处理模块主要是针对强光、 暗光等不同光的情况 下， 将整张图片的明暗度进 行一个平均处理， 使用直方图均衡化的方法， 将明暗度调整成统 一水平； (2)网络框架优化:针对算法部署落地端要求， 针对网络框架进一步的优化， 由原始的 VGG16更换为Mobi lenetv2的网络作为特 征提取器； (3)使用双向LSTM： CTPN算法使用于文本框检测， 将CTPN算法迁移到布匹的缺陷检测 中， 主要考虑到就是双向LSTM对时序特 征检测中起到关键性作用； (4)特定anchor设计模块： 布匹的缺陷情况的观察， 将CTPN算法中的垂直方向anchor设 置完全应用在布匹检测中， 采用了一组10个等宽度的anc hors用于 定位布匹缺陷的位置； (5)后处理模块： 用于缺陷检测， 一张布匹的缺陷检测图通过图像的直方图均衡化预处 理， 然后加载训练后的模型， 模型输出分类分支、 缺陷框的垂直坐标和side ‑refinement的 偏移量训练； S5： 布匹数据集的缺陷检测： (1)对图片进行 预处理， 直方图均衡化后， 布匹的缺陷更加明显， 有于模型的训练； (2)将图片输入CTPN算法的主干网络， 经过主干网络进行特征提取， 生成N ×C×H×W特 征图， 在特征图中滑动进行3 ×3卷积， 然后进行im2col操作， 然后每次滑动都得到一个3 ×3 ×C的特征向量， 最后生 成一个新的N ×9C×H×W特征图， 然后输入BLSTM中进行序列特征提 取， 再传入全连接层中进一步提取特征， 全连接层后接3个全连接层分支， 分别预测垂直坐 标回归、 分类得分、 水平平移量回归， 最后使用基于图的文本构造的算法， 将得到的细长的 矩形框。 2.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S2中， 采取 随机抽样的方式将所收集的图片按照一定比例分为独立且不重复的验证集和 测试集。 3.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S3中， 提取 检测图片特征， 并在 验证集上构建检测图片数据集的识别模型， 确定识别模型的参数， 然后 利用测试集 来检测识别效果， 验证模型性能。 4.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S4中， Mobilenetv2采用卷积核为1x1xC1并带有LSTM的卷积， 将v2输出的特征图经过特定设计的 CONVLSTM卷积， 产生的特 征图等待输入RPN网络中进行 学习。 5.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S4中， 双向 LSTM的主要实现方法为： 底层使用VGG16特征， 由一个W*H*C的Conv5的featuremap， 使用大 小为3*3的空间窗口， 在最后一层卷积(VGG16的Conv5)的featuremap上滑动窗口， 每行中的 顺序窗口通过BLSTM循环连接， 其中每个窗口的卷积特征(3x3xC)作为BLSTM的输入， 再实现 双向BLSTM， 增强关联序列的信息学习， 再将VGG最后一层卷积层输出的featuremap转化为 向量的形式， 用于 接下来的BLSTM训练。权　利　要　求　书 1/2 页 2 CN 115239615 A 26.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S4中， 特定 anchor设计由于网络优化的方式， 将特征提取器输出的最后一层的特征图宽高是输入图像 的宽高的1/16， 同时将该层特征图拉成一列向量， 用于后续的BLSTM的训练， 而BLSTM的输出 传入到FC中， 通过网络 输出的三个预测量和真实值 误差来学习布匹检测的模型。 7.根据权利要求1所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 所述S4中， 后处 理模块的阶段训练模型主要分为三 阶段： 第一 阶段数据预处理， 第二阶段是网络框架的训 练采用Mobi lenetv2框架作为特 征提取器， 第三阶段 是特定anchor的训练。 8.根据权利要求7所述的基于CTPN的布匹缺陷检测方法， 其特征在于， 后处理模块在训 练好布匹缺陷检测模型后， 部署这些模型时， 需调用流 程步骤如下： A.从摄像头采集到一张RGB布匹缺陷图片； B.图片预处 理后的得到的图片； C.然后送入到改进的mobi lenetv2的网络 框架中； D.将网络框架优化模块输出， 送入到BLSTM模块中， 学习布匹的时序特征； 再将输出的 特征输入到FC中， 最终输出模 型输出分类 分支、 缺陷框的垂直坐标和side ‑refinement的偏 移量。权　利　要　求　书 2/2 页 3 CN 115239615 A 3