(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210329363.4 (22)申请日 2022.03.30 (71)申请人 天地 （常州） 自动化股份有限公司 地址 213100 江苏省常州市新北区黄河西 路219号 申请人 中煤科工集团常州研究院有限公司 (72)发明人 季亮　沈科　蒋伟　郝大彬　 周李兵　邹盛　宋鹏飞　 (74)专利代理 机构 常州至善至诚专利代理事务 所(普通合伙) 32409 专利代理师 赵旭 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/246(2017.01) G06T 7/269(2017.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B65G 43/00(2006.01) (54)发明名称 基于图像识别矿用带式输送机输送带状态 检测方法和系统 (57)摘要 本发明涉及煤矿带式输送机运行监控技术 领域， 尤其涉及一种基于图像识别矿用带式输送 机输送带状态检测方法和系统， 包括： 将视频传 感器安装在输送机的龙门架上， 首先使用视频传 感器实时采集工作中输送带的带面区域的视频， 对视频按帧截图得到多帧连续的矿用输送带图 像； 然后视频传感器对矿用输送带图像进行分析 处理， 最后视频传感器显示处理后的矿用输送带 图像， 处理后的矿用输送带图像包括输送带上有 无煤料和输送带是否运行。 本发 明提供一种基于 图像识别矿用带式输送机输送带状态检测方法 检测可靠， 检测实时性好， 便于维护且成本低， 便 于煤矿场景的实际应用。 权利要求书3页 说明书10页 附图5页 CN 114648516 A 2022.06.21 CN 114648516 A 1.一种基于 图像识别矿用带式输送机输送带状态检测方法， 其特征在于： 所述状态检 测包括所述输送带(2)上有 无煤料状态的检测和所述输送带(2)运行状态的检测， 所述检测 方法包括： 步骤S1， 视频传感器(3)实时采集工作中所述输送带(2)的带面区域的视频， 对所述视 频按帧截图得到多帧连续的矿用输送带图像； 步骤S2， 所述视频传感器(3)对所述矿用输送带图像进行分析处理， 根据所述矿用输送 带图像检测所述输送带(2)上有无煤料状态和所述输送带(2)运行状态； 步骤S3， 所述视频传感器(3)根据检测结果显示处理后的所述矿用输送带图像， 处理后 的所述矿用输送带图像包括所述输送带(2)上有/无煤料和所述输送带(2)是/ 否运行； 若所述检测结果是所述输送带(2)为运动状态， 且所述输送带(2)上有煤料时， 返回步 骤S2继续检测； 若所述检测结果是所述输送带(2)为停止状态， 且所述输送带(2)上无煤料时， 所述视 频传感器(3)记录矿用输送带图像， 发出报警信号后， 返回步骤S2继续检测。 2.如权利要求1所述的基于图像识别矿用带式输送机输送带状态检测方法， 其特征在 于： 所述步骤S2包括通过所述视频传感器(3)的GPU对 所述矿用输送带图像进 行有无煤料状 态推理分析和通过所述视频传感器(3)的CPU对所述矿用输送带图像进行运行状态检测分 析。 3.如权利要求2所述的基于图像识别矿用带式输送机输送带状态检测方法， 其特征在 于： 所述步骤S2对所述矿用输送带图像进行有无煤料状态分析包括以下步骤： 步骤S211： 所述视频传感器(3)采集部分所述输送带(2)的带面区域的有无煤料视频图 像， 将所有的有无煤料视频图像制作成数据集； 步骤S212： 将所述数据集打上 标签， 将所述数据集分为训练集、 测试集和验证集； 步骤S213： 对所述数据集进行 预处理； 步骤S214： 基于Pytorch深度学习框架搭建ResNetl8网络模型， 将所述数据集转换成所 述ResNetl8网络模型识别的输入向量； 步骤S215： 给定所述输入向量和目标值到所述ResNetl8网络模型中， 对所述ResNet18 网络模型训练， 获取性能优异的权 重文件； 步骤S216： 利用所述ResNet 18网络模型加载所述权重文件对所述矿用输送带图像进行 推理， 所述推理结果包括所述输送带(2)为有煤料状态或所述输送带(2)为无煤料状态。 4.如权利要求2所述的基于图像识别矿用带式输送机输送带状态检测方法， 其特征在 于： 所述步骤S2对所述矿用输送带图像进行运行状态分析包括以下步骤： 步骤S221： 对所述矿用输送带图像灰度化处理， 将所述矿用输送带图像转换为灰度图 像； 步骤S222： 基于Shi ‑Tomasi算法， 提取所述多帧连续的矿用输送带图像中第一帧灰度 图像的特征点， 形成第一特征点集合， 所述第一特征点的集合为{(x0， y0)， (x1， y1)，……(xj， yj)}， 其中， j＝0， 1 …j， 将所述第一特 征点作为初始 跟踪点； 步骤S223： 自第二帧灰度图像开始至最后一帧灰度图像， 基于所述第一特征点集合中 的特征点， 利用Lucas ‑Kanade光流算法， 对当前帧灰度图像进行特征点跟踪， 获得当前帧灰 度图像的第二特征点集合， 所述第二特征点的集合为{(X0， Y0)， (X1， Y1)，……(Xj， Yj)}， 将所权　利　要　求　书 1/3 页 2 CN 114648516 A 2述第二特 征点作为终点跟踪点； 步骤S224： 根据所述第一特征点和所述第二特征点的位置， 计算所述第一特征点和所 述第二特 征点的运动方向， 将所述 运动方向与基准角度方向比较： 若所述运动方向与所述基准角度方向一 致， 则计数值加1； 若所述运动方向与所述基准角度方向不 一致， 则不计数； 步骤S225： 计算所述计数值的总数与所有的所述第 一特征点和所述第 二特征点的总数 之间比例P； 步骤S226： 将比例P与设定阈值K比较： 若P＞K， 则表示所述输送带(2)为 运行状态； 若P＜K， 则表示所述输送带(2)为停止状态； 步骤S227： 将所述当前帧灰度图像的第二特征点作为下一帧灰度图像的所述初始跟踪 点， 重复步骤S2 23～S224， 直至所述视频传感器(3)视频采集完成。 5.如权利要求4所述的基于图像识别矿用带式输送机输送带状态检测方法， 其特征在 于： 所述步骤S222包括以下步骤： S2221： 将所述第一帧灰度图像作为Shi ‑Tomasi算法的输入图像， 设定检测出最大特征 点的个数为N， 所述第一帧灰度图像为I(x， y)， 首先， 计算I(x， y)在水平方向的梯度Ix和垂 直方向上的梯度Iy， 计算公式为： Ix＝I*[‑1 0 1]； Iy＝I*[‑1 0 1]T； 接着， 计算水平方向和垂直方向上梯度的乘积， 计算公式为： IxIy＝Ix*Iy； 然后， 使用高斯函数对 IxIy进行高斯加权， 以所述第一帧灰度图像I(x， y)为中 心加权形成窗口图像ω(x， y)， 计算所述窗口图像ω(x， y)对应的协方差矩阵M， 计算公式 为： C＝∑(x， y)∈Wg(IxIy)＝∑(x， y)∈WIxIy*ω(x， y)； 再利用所述协方差矩阵M计算对应 每个像素的角点响应函数R， 计算公式为： R＝det(M) ‑K(trace(M))2； 其中， det(M)＝λ1λ2是矩阵M的行列式， trace(M)＝λ1+λ2是矩阵的迹。 λ1和 λ2是矩阵M的 特征值， K是一个经验常数， K的取值范围为(0.04， 0.0 6)； 最后， 过滤大于某一阈值t的相应值R后得到角点， 所述角点 为特征点； 步骤S2222： 判断检测出的所述特征点中有效第一特征点及所述有效第一特征点的总权　利　要　求　书 2/3 页 3 CN 114648516 A 3