(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210378086.6 (22)申请日 2022.04.12 (71)申请人 西南交通大 学 地址 610031 四川省成 都市金牛区二环路 北一段111号 (72)发明人 赵怡景　杨然　陆江　关子凌　 李谨涵　 (74)专利代理 机构 成都信博专利代理有限责任 公司 5120 0 专利代理师 卓仲阳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06V 10/28(2022.01) G06V 10/44(2022.01)G06V 10/772(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 一种列车 车底螺栓的图像识别检测方法 (57)摘要 本发明公开了一种列车车底螺栓的图像识 别检测方法， 具体的： 对拍回的图像进行图像增 强操作和螺栓的目标识别， 对螺栓图像进行滤波 处理； 再将图像从RGB空间转为HSV空间， 再转为 二值图， 进行图像形态学操作， 即对图像进行膨 胀和腐蚀操作； 二值图边缘检测， 绘制最小外接 圆， 在圆的基础上绘制最小外接矩形， 采用先建 立颜色库再对库中的阈值进行筛选的方法来进 行螺栓防松线的提取； 通过提取外接圆的参数， 计算两两圆之间的关系， 判断该组阈值是否合 理； 通过生成字典的方法进行统一比较再输出结 果。 本发明可有效解决图像质量问题， 使用自创 的颜色筛选算法可以有效解决拍摄环境复杂多 变的问题， 本发明具有更好的泛用性以及鲁棒 性。 权利要求书1页 说明书4页 附图1页 CN 114723714 A 2022.07.08 CN 114723714 A 1.一种列车 车底螺栓的图像识别检测方法， 其特 征在于， 包括以下步骤： 步骤1： 使用l abeimg工具打标签 并进行图像增强操作， 使用yolo ‑v4进行螺栓目标模型 训练； 步骤2： 对拍回的图像进行螺栓 的目标识别， 截取螺栓， 使用cv2.resize统一螺栓图像 大小宽为80 0， 高为600， 即总像素点 为480000； 步骤3： 对螺栓图像进行滤波处理， 使用opencv2中的cv2.bilateralFilter双 边滤波函 数进行预处理， 其中过滤过程中每个像素邻域的直径设置为7， 颜色空间滤波器的sigma值 设置为13 5， sigmaSpace坐标空间中滤波器的sigma值设置为13 5； 步骤4： 使用cv2.cvtCo lor函数将图像从RGB空间转 为HSV空间； 步骤5： 通过设置螺栓防松线的阈值来将HSV图像转为二值图， 阈值的选取从事先储存 的阈值库中选取， 选择库中的第一组阈值， 使用cv2.i nRange函数提取 出螺栓防松线； 步骤6： 进行图像形态学操作， 即对图像进行膨胀和腐蚀操作， 首先使用OpenCV2中 cv2.getStructuringElement函数创建卷积核， 设置 卷积类型为矩形， 大小设置为(15， 15)； 使用cv2.dilate进行膨胀操作， 消去提取出的图形中的空洞， 再使用cv2.erode进行腐蚀操 作， 保持图像原本的形态与大小； 步骤7： 二 值图边缘检测， 使用cv2.fi ndContours函数提取 出边缘数据； 步骤8： 迭代上一步提取出的边缘数据绘制最小外接圆， 提取出最小外接圆圆心及 半径 参数， 设置最小外接圆的面积， 若圆面积超出阈值， 则停止绘制当前图形， 接着下一边缘迭 代； 步骤9： 绘制最小外接圆后， 在圆的基础上绘制最小外接矩形， 若图像 中矩形只有一个， 需要进行进一步的判断， 保留结果为 “OK”不进行输出， 并保存此圆的面积， 继续向下一组阈 值迭代； 步骤10： 若图像 中有两个及以上的矩形， 则提取对应外接圆的圆心及半径数据， 计算两 圆圆心的距离， 设置阈值为两圆的半径之和的k倍， 若距离超过设定值， 则认为此组颜色阈 值不符合要求， 向下一组颜色阈值迭代； 若距离未超出设定值， 则继续进行后续检测； 步骤11： 在得到的矩形参数中进行迭代， 将矩形的角度数据进行两两相比， 若出现两矩 形角度出现偏差， 此时保留结果为 “BAD”先不进行输出， 进行下一组颜色阈值的迭代； 若两 两之间的矩形角度无偏差， 则认为该螺 栓可能无松动现象， 保留结果 为“OK”； 步骤12： 在最后一组颜色阈值迭代完成后， 生成一个储存着所有可能结果和对应情况 中圆的面积字典； 对该字典进行迭代， 若字典中存在 “OK”， 则提出“OK”对应的面积参数， 与 其余面积参数进 行两两相比， 若 该“OK”对应的面积 远小于其他面积超过n次， 则认 为该“OK” 为无效数据， 将该 “OK”数据删除； 若 次数小于n， 则最终输出未松动结果； 经过迭代筛选， 若 字典中仍存在 “OK”， 则最终输出 未松动结果； 若字典中只剩下 “BAD”， 则最终输出松动结果。 2.根据权利要求1所述的一种列车车底螺栓的图像识别检测方法， 其特征在于， 所述阈 值k设置为2； 阈值 n设置为3 。权　利　要　求　书 1/1 页 2 CN 114723714 A 2一种列车 车底螺栓的图像识别检测方 法 技术领域 [0001]本发明属于图像识别技术领域， 尤其涉及一种列车车底螺栓的图像识别检测方 法。 背景技术 [0002]在当今工业领域中， 螺栓在其中有着不可代替的重要作用， 而螺栓 的故障以及松 动检测是一项必不可少的重要工作， 但是现在的工业生产与设施越来越大型复杂， 螺栓的 数量也在成倍增加， 靠人工去检修不仅会耗费大量人力， 且人工在面对大量检测项点时会 有错误判断的情况发生。 而本项目的背 景为地铁列车车底的检测， 螺栓项点更是成千上万， 并且螺栓拍摄环境复杂多变， 因此一个可靠的螺栓检测算法对工业领域来说是迫切需要 的。 [0003]现有公知技术： CN201510032843.4： 首先对拧紧后的待测螺栓进行标记,待测螺栓 松动后,摄取螺栓的照片,照片包含第一标记、 第二标记和待测螺栓的完整图像﹔摄取图像 后,利用图像角度的计算算法,通过图像灰度化、 图像二值化、 边缘检测、 判断特征符号,分 别识别出照片 中第一标记和第二标记的坐标位置； 根据坐标位置,计算两个标记之间的相 对转动角度； 将相对转动角度与设定的角度阈值进行比较,对松动螺 栓进行紧 固操作。 [0004]CN202110710838.X： 采集列车螺栓部件的图像； 对采集的图像进行色域空间变换； 对图像中红色像素区域进行提取； 对提取后的图像进行图像闭运算处理； 对每一块红色区 域求取其最小外接矩形， 绘制矩形用来代表防松线的形状、 位置和大小； 对得到的防松线矩 形进行分组归类确定属于同一螺栓的防松线， 对同一螺栓有两条防松线矩形 的， 则通过判 断两个矩形的角度差值与阈值， 来判断螺栓是否松动； 根据判断结果在原图中标识出结果。 本方法利用图像处理算法基于螺栓图像对防松线进行提取、 识别， 从而进行螺栓松动的检 测。 [0005]现有方法缺点： 此类算法总的来说兼容性以及泛用性都较差， 在本项 目背景中的 地铁列车车底中， 拍摄环境复杂多变， 螺栓图像质量也参差不齐， 使用传统的图像识别技术 会导致误检率高， 识别效果差 。 [0006]术语解释： [0007]RGB、 HSV： 图片的两种颜色通道。 [0008]YOLO‑V4： 是一个对象检测算法的名字， “You Only Look Once”或“YOLO”， 这是 Redmon等人在2016年的一 篇研究论文中命名。 [0009]卷积核： 图像处理时， 给定输入图像， 输入图像中一个小区域中像素加权平均后成 为输出图像中的每 个对应像素， 其中权值由一个函数定义。 发明内容 [0010]为克服上述 缺点， 本发明提供了一种列车 车底螺栓的图像识别检测方法。 [0011]本发明的一种列车 车底螺栓的图像识别检测方法， 包括以下步骤：说　明　书 1/4 页 3 CN 114723714 A 3