(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210616564.2 (22)申请日 2022.06.01 (71)申请人 南京北新智能科技有限公司 地址 211800 江苏省南京市中国(江苏)自 由贸易试验区南京片区浦滨路150号 中科创新广场产业园内24栋16楼1601 室 (72)发明人 杨伟忠　朱恩东　雷凌　徐晨鑫　 (74)专利代理 机构 南京苏博知识产权代理事务 所(普通合伙) 3241 1 专利代理师 伍兵 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01)G06V 10/25(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) (54)发明名称 基于可见光与热红外融合的托辊检测方法 (57)摘要 本发明涉及计算机视觉的图像融合技术领 域， 具体涉及基于可见光与热红外融合的托辊检 测方法； 摄像头读取视频帧， 调取可见光图像和 热红外图像； 基于可见光图像提取拖辊轮廓， 得 到一号轮廓； 基于热红外图像提取拖辊轮廓， 得 到二号轮廓； 对 可见光图像和热红外图进行预处 理， 得到新图像数据； 结合一号轮廓、 二号轮廓和 新图像数据提取拖辊轮廓， 得到最终拖辊轮廓； 结合最终拖辊轮廓和热红外图像的温度信息进 行剪裁和报警， 该方法通过将可见光图像和热红 外图像融合， 有效的有效解决仅基于热红外图像 对托辊的提取有较大限制， 也解决了仅基于可见 光图像无法有效检测托辊异常的情况。 权利要求书1页 说明书5页 附图4页 CN 115035311 A 2022.09.09 CN 115035311 A 1.基于可 见光与热红外融合的托辊检测方法， 其特 征在于， 包括以下步骤： 通过摄像头读取视频帧， 并从所述视频帧中调取 可见光图像和热红外图像； 基于所述可 见光图像提取拖辊轮廓， 得到一 号轮廓； 基于所述热红外图像提取拖辊轮廓， 得到二 号轮廓； 对所述可 见光图像和所述热红外图进行 预处理， 得到新图像数据； 结合所述一号轮廓、 所述二号轮廓和所述新图像数据提取拖辊轮廓， 得到最终拖辊轮 廓； 结合所述 最终拖辊轮廓和所述热红外图像的温度信息进行剪 裁和报警。 2.如权利要求1所述的基于可 见光与热红外融合的托辊检测方法， 其特 征在于， 所述基于所述可 见光图像提取拖辊轮廓， 得到一 号轮廓的具体方式： 基于所述可 见光图像利用所述YOLOv5算法对拖辊进行目标识别检测， 得到检测结果； 对所述检测结果进行边 缘检测， 得到所述 一号轮廓。 3.如权利要求1所述的基于可 见光与热红外融合的托辊检测方法， 其特 征在于， 所述基于所述热红外图像提取拖辊轮廓， 得到二 号轮廓的具体方式： 对所述热红外图像的直方图均衡除去 背景， 得到皮带机边 缘； 对所述皮带机边 缘进行线性变换， 得到所述 二号轮廓。 4.如权利要求1所述的基于可 见光与热红外融合的托辊检测方法， 其特 征在于， 所述对所述可 见光图像和所述热红外图进行 预处理， 得到新图像数据的具体方式： 对所述可 见光图像和所述热红外图像进行高斯滤波处 理， 得到处 理图像； 将所述处 理图像的双线性插值缩放至同一分辨 率， 得到二次图像； 利用Akaza算子对所述 二次图像进行 特征点检测， 得到变换矩阵； 对所述变换矩阵进行图像标配和信息融合， 得到所述 新图像数据。权　利　要　求　书 1/1 页 2 CN 115035311 A 2基于可见光与热红外融合的托 辊检测方 法 技术领域 [0001]本发明涉及计算机视觉的图像融合技术领域， 尤其涉及基于可见光与热红外融合 的托辊检测方法。 背景技术 [0002]托辊作为带式输送机的基础零件， 分布于带式输送机全程， 数量众多， 需要人工对 带式输送机沿线托辊定期巡检， 确保带式输送机安全平稳运行， 传统方法采用人工巡检主 要通过目测 和听音辨别异常托辊， 这种方式存在漏检严重、 工作强度大、 效率较低等 缺陷。 [0003]目前针对带式输送机托辊故障的在线监测和自动化判断的研究主要基于对声音 信号、 温度感知和图像特征等信息的分析。 当前常用的托辊检测算法， 大多采用热红外图像 检测。 [0004]但由于现场环境远比实验环境复杂， 热红外图像检测对托辊的提取有较大的限 制。 发明内容 [0005]本发明的目的在于提供基于可见光与热红外融合的托辊检测方法， 旨在解决现场 环境复杂， 热红外图像 检测对托辊的提取 具有限制的问题。 [0006]为实现上述目的， 本发明提供了基于可见光与热红外融合的托辊检测方法， 包括 以下步骤： [0007]通过摄像头读取视频帧， 并从所述视频帧中调取 可见光图像和热红外图像； [0008]基于所述可 见光图像提取拖辊轮廓， 得到一 号轮廓； [0009]基于所述热红外图像提取拖辊轮廓， 得到二 号轮廓； [0010]对所述可 见光图像和所述热红外图进行 预处理， 得到新图像数据； [0011]结合所述一号轮廓、 所述二号轮廓和所述新图像数据提取拖辊轮廓， 得到最终拖 辊轮廓； [0012]结合所述 最终拖辊轮廓和所述热红外图像的温度信息进行剪 裁和报警。 [0013]其中， 所述基于所述可 见光图像提取拖辊轮廓， 得到一 号轮廓的具体方式： [0014]基于所述可见光图像利用所述YOLOv5算法对拖辊进行目标识别检测， 得到检测结 果； [0015]对所述检测结果进行边 缘检测， 得到所述 一号轮廓。 [0016]其中， 基于所述热红外图像提取拖辊轮廓， 得到二 号轮廓的具体方式： [0017]对所述热红外图像的直方图均衡除去 背景， 得到皮带机边 缘； [0018]对所述皮带机边 缘进行线性变换， 得到所述 二号轮廓。 [0019]其中， 所述对所述可见光图像和所述热红外图进行预处理， 得到新图像数据的具 体方式： [0020]对所述可 见光图像和所述热红外图像进行高斯滤波处 理， 得到处 理图像；说　明　书 1/5 页 3 CN 115035311 A 3