(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211120494.8 (22)申请日 2022.09.15 (71)申请人 北京京诚瑞达电气工程 技术有限公 司 地址 100176 北京市大兴区北京经济技 术 开发区建安 街7号626室 (72)发明人 李凡　温志强　冯建标　张希元　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 钱能　赵燕力 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06T 7/20(2017.01) (54)发明名称 轧线棒材收集台架 物料跟踪方法及装置 (57)摘要 本发明公开了一种轧线棒材收集台架物料 跟踪方法及装置， 其涉及钢材生产技术领域， 方 法包括： 获取收集台架的监控视频数据， 并从监 控视频数据中实时获取图像； 利用标定成品钢的 图像对PP ‑Picodet模型进行训练得到在PP ‑ Picodet模型中的成品钢识别模型； 当成品钢刚 进入收集台架时， 根据第一跟踪机构检测到的信 号在图像相对应的位置生 成跟踪标记， 第一跟踪 机构的检测位置为成品钢刚进入收集台架的位 置； 利用成品钢识别模型和PP ‑Picodet模型对此 时获取的图像进行识别以识别出刚进入收集台 架的一束成 品钢的区域； 判断跟踪标记是否位于 图像中成品钢的区域； 等等。 本申请能够解决收 集区物料跟踪中跟踪精度差、 准确率低的问题。 权利要求书2页 说明书10页 附图6页 CN 115376070 A 2022.11.22 CN 115376070 A 1.一种轧线棒材收集台架 物料跟踪方法， 其特 征在于， 它包括： 获取收集台架的监控视频 数据， 并从所述 监控视频 数据中实时获取图像； 利用标定成品钢的图像对PP ‑Picodet模型进行训练得到在PP ‑Picodet模型中的成品 钢识别模型； 当成品钢刚进入所述收集台架时， 根据所述收集台架上的第 一跟踪机构检测到的信号 在所述图像相对应的位置生成跟踪标记， 所述第一跟踪机构的检测位置为所述成品钢刚进 入所述收集台架的位置； 利用所述成品钢识别模型和所述PP ‑Picodet模型对此时获取的图像进行识别以识别 出刚进入所述收集台架的一束所述成品钢的区域； 判断所述跟踪标记是否位于图像中所述成品钢的区域； 若所述跟踪标记位于图像中所述成品钢的区域， 则随着生产的进行所述成品钢在所述 收集台架移动， 根据实时获取的图像中所述成品钢的区域的移动 情况控制所述跟踪标记向 终点位置移动， 直至 到达所述终点 位置时消失。 2.根据权利要求1所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 所述轧线棒材 收集台架 物料跟踪方法还 包括： 将实时获取的所述图像进行校正处理， 以使所述图像中的所述收集台架的延伸方向在 所述图像上的成像 基本呈水平状态。 3.根据权利要求2所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 在将 实时获取 的所述图像进行 校正处理步骤中， 具体包括： 利用齐次投影变换矩阵对所述图像进行几何变换得到校正后的图像， 其中， 所述齐次 投影变换矩阵的计算公式如下： 其中， HomMat2D为所述齐次投影变换矩阵， Px为原始图像中需要截取部分的四个点的 横坐标， Py为原始图像中需要截取部分 的四个点的纵坐标， 原始图像分辨率为M*N， 则Qx＝ [0,0,M,M],Qy＝[0,N,N,0]， Pw和Q w为[1,1,1,1]。 4.根据权利要求2所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 在利用标定成 品钢的图像对PP ‑Picodet模型进行训练得到在PP ‑Picodet模型中的成品钢识别模型的步 骤中， 所述PP ‑Picodet模型中采用骨干网络ESNet， 在所述图像中标定成品钢时， 利用所述 收集台架实际生产过程中的图片使用labelme软件对其中的成品钢进行标定， 并对PP ‑ Picodet模型进行训练从而得到在P P‑Picodet模型中的成品钢识别模型。 5.根据权利要求1所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 在利用所述成 品钢识别模型和所述PP ‑Picodet模型对此时获取的图像进行识别以识别出刚进入所述 收 集台架的一束 所述成品钢的区域的步骤中， 一束 所述成品钢的区域为所述成品钢形成的矩 形轮廓的四个角的坐标 形成的矩形框范围。 6.根据权利要求5所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 在 当成品钢刚 进入所述收集台架时， 根据所述收集台架上的第一跟踪机构 检测到的信号在所述图像相对 应的位置生成跟踪标记， 所述第一跟踪机构的检测位置为所述成品钢刚进入所述收集台架权　利　要　求　书 1/2 页 2 CN 115376070 A 2的位置的步骤中， 具体包括： 当成品钢刚进入所述收集台架时， 所述收集台架上的第 一跟踪机构检测到所述成品钢 进入所述收集台架， 所述第一跟踪机构生成信号， 根据所述信号在实时获取 的图像中在所 述第一跟踪机构 检测的位置处生成跟踪标记， 所述跟踪标记为沿所述成品钢延伸方向的线 段。 7.根据权利要求6所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 在判断所述跟 踪标记是否位于图像中所述成品钢的区域的步骤中， 判断沿所述成品钢延伸方向的线段的 横坐标是否位于所述矩形框范围内。 8.根据权利要求1所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 所述轧线棒材 收集台架 物料跟踪方法还 包括： 若识别出刚进入所述收集台架的一束所述成品钢的区域， 且所述跟踪标记不位于图像 中所述成品钢的区域内， 则判定所述第一跟踪机构存在异常。 9.根据权利要求7所述的轧线棒材收集台架物料跟踪方法， 其特征在于， 所述轧线棒材 收集台架 物料跟踪方法还 包括： 基于所述收集台架上的第二跟踪机构检测到一束所述成品钢的信号与所述跟踪标记 移动至所述 终点位置时的时间判断所述成品钢跟踪是否准确， 所述第二跟踪机构的检测位 置为所述成品钢在所述收集台架 移动的所述终点 位置。 10.一种轧线棒材收集台架 物料跟踪装置， 其特 征在于， 它包括： 图像获取模块， 用于获取收集台架 的监控视频数据， 并从所述监控视频数据中实时获 取图像； 模型训练模块， 用于利用标定成品钢的图像对PP ‑Picodet模型进行训练得到在PP ‑ Picodet模型中的成品钢识别模型； 跟踪标记生成模块， 用于当成品钢刚进入所述收集台架时， 根据所述收集台架上的第 一跟踪机构 检测到的信号在所述图像相对应的位置生成跟踪标记， 所述第一跟踪机构的检 测位置为所述成品钢刚进入所述收集台架的位置； 识别模块， 用于利用所述成品钢 识别模型和所述PP ‑Picodet模型对此 时获取的图像进 行识别以识别出刚进入所述收集台架的一束所述成品钢的区域； 判断模块， 用于判断所述跟踪标记是否位于 图像中所述成品钢的区域； 若所述跟踪标 记位于图像中所述成品钢的区域， 则随着生产的进行所述成品钢在所述收集台架移动， 根 据实时获取的图像中所述成品钢的区域的移动 情况控制所述跟踪标记向终点位置移动， 直 至到达所述终点 位置时消失。权　利　要　求　书 2/2 页 3 CN 115376070 A 3