(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211323105.1 (22)申请日 2022.10.27 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 古卓恒　王国华　连佩仪　凌海涛　 谢函　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 邓永红 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于单目热红外摄像头的铁轨异物识 别方法及系统 (57)摘要 本发明涉及一种基于单目热红外摄像头的 铁轨异物识别方法及系统。 包括： 在传统的半自 动标注算法基础上利用了多种不同网络模型进 行半自动标注， 获得带有更为精确的半自动图像 轮廓信息； 在语义分割网络中， 将热感图像特征 图和基于 热感图像灰度处理的特征图进行融合， 并增加了权重因子规格化模块操作， 获得异物分 割图； 提出基于改进的跨模态融合的主干神经网 络， 通过transformer将分割图和热红外图的跨 模态特征点和模态信息进行融合， 利用蒸馏学习 方法压缩网络参数实现了轻量级的异物识别； 提 出一种监控报警设备， 用于监控和报警铁轨异物 入侵； 本发 明提高了在各种环 境下铁轨异物识别 的效率和准确度， 能够有效降低异物入侵铁轨造 成列车事故的可能性。 权利要求书3页 说明书8页 附图3页 CN 115546742 A 2022.12.30 CN 115546742 A 1.一种基于单目热红外摄像头的铁轨异物识别方法及系统， 其特征在于包括如下步 骤： (1)提出一种半自动标注图像轮廓信息方法， 对于初始热感图片， 通过yolov5进行异物 的初步定位， 进而对于不同的目标类别采用不同的模型进行语义分割， 根据分割 结果自动 地对原始图像集进 行标注， 后通过人工审阅校对， 得到精准的半自动标注图像轮廓信息， 所 得图像轮廓信息将用于训练本专利提出的改进的语义分割网络； (2)提出基于改进的语义分割网络， 对原始热感图像进行语义分割， 将热感图像进行灰 度处理获得粗糙分割图， 同时对该图像利用双边滤波进行去噪操作和像素规格化操作得到 像素温度规格化信息， 将热感图像特征图和基于热感图像灰度 处理的特征图进行融合， 将 热感图像带有的温度信息加入改进的语义分割网络的计算权重中， 对原始的图像完成分 割， 得到异 物分割图， 以此作为改进的跨模态融合的主干神经网络的输入； (3)提出基于改进的跨模态融合的主干神经网络， 实现轻量级的铁轨异物检测； 将基于 改进的语义分割网络得到的分割图和原始的热红外图输入 改进后的多模态融合骨干网络 中， 通过transformer融合跨模态特征点和模态信息， 利用改进的蒸馏学习方法对神经网络 进行精简， 实现轻量级的异 物识别。 2.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 步骤(1) 所述的通过yolov5进 行异物的初步定位， 进而对于不同的目标类别采用不同的模型进 行语 义分割， 其特征在于， 所述的通过yolov5进行异物的初步定位指的是将单目热红外摄像头 所拍摄的图像输入预训练的yolov5模型， 得到精准的异物位置， 并进行基于异物识别框的 图片裁剪获得裁剪后的图像； 所述的采用不同的模型指的是根据不同的目标标签进行训练 和识别， 之后根据这些获得的结果进行进一步的半自动标注获得最终的标注结果； 其中标 签指的是人体、 铁轨、 石头和其他， 根据这些标签提出用对应不同的模型进行训练和识别， 其中人体识别采用基于视觉的人类动作识别网络(HAR)、 铁轨识别采用卷积神经网络 (FasterRCN N)、 石头和其 他异物采用深度神经网络算法(DN N)共三大种模型。 3.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 步骤(1) 所述的半自动标注方法， 其特征在于， 将获得的异物图像输入到改进的不同模型中进行识 别， 获得了带有目标标签位置信息的图像； 具体步骤表现为， 将上述 获得的异物图像再次输 入到对应的模型进行特征提取和模型优化， 使得各自的模型更加 准确， 接着复制需要标注 的图像形成多个副本， 分别对各个图像副本进行图像分割， 再利用Mask  R‑CNN网络得到异 物轮廓二值矩阵， 最后采用上面所述不同的模型对各个副本进行测试， 从而获得多个目标 标签， 最后将所有目标标签合并作为最终的完整标签， 最后在自动 获得带有各个标签的图 片后， 手动检查是否有缺漏或标注 错误情况对其进 行修改， 最 终用xml文件保存完成带标注 的图像。 4.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 步骤(2) 所述的灰度 处理获得粗糙分割图， 其特征在于， 为了更有效地捕获基于灰度图的上下文信 息,并且平衡局部特征与全局特征的利用率， 提出对热感图像进 行灰度处理， 并转换为特征 图格式， 后置概率图模型(p robabili stic graphical  model,简称PGM)(CRFs/MRFs)对图像 进行处理， 更有效地捕获基于灰度图的上下文信息,并且平衡局部特征与全局特征 的利用 率， 得到基于灰度处理的粗糙分割图(Rough  segmentation  plot based on grayscale  权　利　要　求　书 1/3 页 2 CN 115546742 A 2processing， 简称RS PbGP)。 5.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 其特征 在于， 步骤(2)所述的同时对该图像利用双边滤波进行去 噪操作和规格化操作得到像素温 度规格化信息， 其特征在于， 在步骤(1)的同时将热感图像使用canny算子进行亚像素边缘 提取， 其中采用双边滤波进行去噪操作。 所述规格化操作特点在于， 其规格化公式如(1)所 示： 其中， i,j表示计算的这一个像素点的位置， k,l为周围像素位置， g(i,j)为卷积后得到 的像素值， f(k,l)周围像素值， 这里主要受影 响的是w(i,j,k,l)， 通过该规格化操作得到像 素温度信息 。 6.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 其特征 在于， 步骤(2)所述的将热感图像特征图和基于热感图像灰度处理的特征图进 行融合， 其特 征在于， 热感图像被送入深度卷积神经网络， 所述深度卷积神经网络采用VGG ‑16网络， 并在 最后一层卷积加入注意力机制， 得到基于深度卷积神经网络的粗糙分割图(Rough   segmentation  plot based on deep convolutional  neural network， 简称RSPbCNN)， 对 RSPbGP和RSPbDL进行处理， 使用跨层方法引入边界信息后,将RSPbGP特征与RSPbDL特征进 行融合， 得到融合的粗 糙分割图。 7.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 其特征 在于， 步骤(2)所述的将热感图像带有的温度信息加入改进的语义分割网络的计算权重中， 其特征在于， 基于温度信息改变卷积核 大小， 逐步提取出图像的全局特征和上下文信息， 同 时达到增大计算速度、 降低内存使用的目的， 改进的语义分割网络模型引入步骤(2)中边缘 检测中获得的权重因子， 将特征图和各像素权重送入解码 器中， 所述解码 器为改进的ReNet 网络， 以逐步提取出图像的全局特征和上下文信息,其中所述改进的ReNet网络， 改进算法 为， 在卷积处理的作用区域上， 加入像素权重因子， 使卷积操作的卷积核具有可变的形状， 最后使用由反卷积网络组成的上采样层逐步恢复特征图的分辨率,输出分割 结果， 得到分 割图Segement_Thermal。 8.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统， 其特征 在于， 步骤(3)所述的改进后的跨模态融合的主干神经网络， 其特征在于， 包括两部分， 一个 双流并行 的特征提取网络以及一个基于非对称注意力机制的特征融合模块； 其中， 所述特 征提取网络采用UNet网络； 所述特征融合模块， 采用transformer融合跨模态特征点和模态 信息， 包括以下步骤： (1)计算分割图Segement_Thermal(IST)的查询Query值， 计算公式如(2)所示： QST＝ISTWQ (2) (2)计算热红外通道图Thermal(IT)的索引Key、 内容Value值， 计算公式如(3)和(4)所 示： KT＝ITWK (3) VT＝ITWV (4) (3)计算分割图S egement_Thermal与热红外通道图Thermal之间的交叉注意力， 计算公权　利　要　求　书 2/3 页 3 CN 115546742 A 3