(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210123099.9 (22)申请日 2022.02.10 (65)同一申请的已公布的文献号 申请公布号 CN 114155494 A (43)申请公布日 2022.03.08 (73)专利权人 力博重工科技股份有限公司 地址 271000 山东省泰安市高新区创业 服 务中心 专利权人 山东科技大 学 (72)发明人 张梦超　张媛　周满山　于岩　 郝妮妮　曹越帅　周丹　 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 112257793 A,2021.01.2 2 CN 113112485 A,2021.07.13 审查员 李志研 (54)发明名称 一种基于深度学习的带式输送机输送带跑 偏监测方法 (57)摘要 本发明提供一种基于深度学习的带式输送 机输送带跑偏监测方法， 利用通用目标检测网络 进行输送带边缘直线特征的检测并实现跑偏状 态的有效判定。 本发明采用具有特定标注要求的 标注方法对输送带边缘区域进行数据标注得到 输送带跑偏数据集， 进而利用该数据集对通用目 标检测网络进行训练， 而后将训练完成后的网络 用于输送带边缘区域的预测， 通过对 预测框四个 顶点坐标位置的计算， 得到输送带边缘区域预测 框的对角线位置及其方程， 并以此表征输送带边 缘直线。 通过对比所得输送带左右边缘直线分别 距离相机视野边界的距离， 实现输送带跑偏状态 的有效监测。 本发明简化了复杂环 境下输送带边 缘直线提取流程， 有力保障了带式输送机的安全 高效运行。 权利要求书2页 说明书6页 附图2页 CN 114155494 B 2022.05.17 CN 114155494 B 1.一种基于深度学习的带式输送机输送带跑偏监测方法， 其特征在于， 该方法包括以 下步骤： 步骤1， 在带式输送机沿线设置相机， 用于实时采集带式输送机运行图像建立输送带跑 偏图像数据集； 步骤2， 基于步骤1所采集的图像数据利用数据标注软件， 对输送带边缘特征进行提取 标注， 每一张图像内的输送带 的左右边缘上分别标注一个标注框， 所述输送带 的边缘与相 对应的标注框的一条对角线对齐， 并将标注完成的数据集划分为训练集、 验证集和测试集， 以供后续深度学习目标检测网络训练调用； 步骤3， 搭建基于深度 学习的目标检测网络模型， 从而实现了所述的输送带边缘区域检 测， 将输送带边缘区域设置为检测目标， 将步骤2中所构建的数据集中的训练集和验证集输 入到建立的目标检测网络模型中进行训练， 直至网络收敛， 得到训练权 重及检测模型； 步骤4， 基于步骤3对以输送带边缘区域为目标的目标检测网络预测， 生成预测框， 并输 出预测框的参数， 改进目标检测网络 输出结果， 使其具 备检测直线的能力； 步骤5， 在步骤4所检测出的输送带边缘直线的基础上， 在相机视野建立一条虚拟参考 线， 所述虚拟参考线平行于x轴， 且与x轴间的距离标记为 △y， 所述虚拟参考线与相机视野 边界的左右分别相交于为点L和R， 与输送带左右边缘分别为相交于点M和N， 记LM为L点和 M 点之间的线段距离， RN 为R点和N 点之间的线段距离； 步骤6， 分别计算LM和NR的长度， 确定输送带在相机视野范围内的位置， 通过算法实时 计算LM与N R的绝对差值， 与阈值进 行实时比对， 即可实现跑偏 状态及跑偏量的确定， 所述跑 偏判定阈值的设定与相机的安装位置、 相机的视野范围及图像分辨 率有关； 步骤7， 将改进后的目标检测部署到 工业现场， 实现跑偏的联动控制与调节； 所述的步骤4中所述参数为预测框的中心点坐标、 预测框长度和宽度值， 基于预测框的 中心点坐标、 预测框长度和宽度值， 可得到预测框的四个顶 点坐标， 因此输送带左侧边缘的 左标注框对角线所在直线的直线方程和输送带右侧 边缘的右标注框对角线所在直线的直 线方程均可以计算获得， 即为输送带左右边 缘所在的直线。 2. 根据权利要求1所述的一种基于深度学习的带式输送机输送带跑偏监测方法， 其特 征在于： 基于步骤3所述的网络模 型为YOLO 网络模型或是RCNN网络模 型或SSD网络模 型通用 目标检测网络 。 3.根据权利要求1所述的一种基于深度学习的带式输送机输送带跑偏监测方法， 其特 征在于： 所述输送带边缘所在直线方程通过如下计算得出， 在输送带左边缘的左标注框内 记定a点坐标是(xa， ya)， b点坐标是 （xb， yb） ， 在输送带右边缘的右标注框内记定c点坐标是 (xc， yc)， d点坐标是(xd， yd)， 则 左标注框内与左边输送带边 缘重合的对角线ab的方程 为： 右标注框内与右边输送带边 缘重合的对角线cd的方程 为： 。 4.根据权利要求3所述的一种基于深度学习的带式输送机输送带跑偏监测方法， 其特 征在于： 基于步骤5所述的L 点和M点之间的线段距离， R点和N 点之间的线段距离计算 为权　利　要　求　书 1/2 页 2 CN 114155494 B 2即为输送带左右边 缘距离视野相机 视野边界的距离， 其中W 为相机视野的宽度。 5.根据权利要求4所述的一种基于深度学习的带式输送机输送带跑偏监测方法， 其特 征在于： 基于步骤6所述的算法为 当  ， 即判断输送带不跑偏， 当  ， 即判断输送带跑偏， 其中DLM为L点和M点之间的距离， DNR为R点和N 点之间的距离， τ 为跑偏判定的阈值。权　利　要　求　书 2/2 页 3 CN 114155494 B 3