(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211288076.X (22)申请日 2022.10.20 (71)申请人 广东昆仑信息科技有限公司 地址 512123 广东省韶关 市曲江区马坝镇 文化路、 鞍山路东文化大楼八层B区北 面2号房 (72)发明人 江声远　马金祥　钟春华　卢智杰　 李喜光　邓小波　尹威怡　黄伟武　 郝松涛　黄群珍　 (74)专利代理 机构 韶关市雷门专利事务所(普 通合伙) 44226 专利代理师 周胜明 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01)G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/34(2022.01) G06V 10/30(2022.01) G06T 5/30(2006.01) G01B 11/30(2006.01) G01B 11/00(2006.01) (54)发明名称 一种棒材捆件规整识别的方法 (57)摘要 本发明公开了一种棒材捆件规整识别的方 法， 涉及棒材规整识别技术领域， 该方法旨在解 决现有技术下打包效果不理想， 棒材尾端不平整 或部分棒材超限， 不能对棒材捆件的规整情况进 行识别， 挂牌机器人作业时容易发生碰撞的技术 问题。 该方法， 其步骤如下： S1： 确定摄像头的位 置并安装， 摄像头与棒材产线工控PLC连通； S2： 深度学习语义分割模型开发并部署， 根据现场需 要设置超限位置。 该方法利用摄像头对棒材捆件 进行拍照， 然后通过语义分割模型提取棒材掩 膜， 并使用图像处理算子进行后处理， 最终输出 的掩膜与根据现场需要设置的超限位置对比， 从 而可以判断棒材是否超限， 棒材尾端不平整或部 分棒材超限时， 从而可以避免挂牌机器人作业时 发生碰撞。 权利要求书2页 说明书4页 附图2页 CN 115457280 A 2022.12.09 CN 115457280 A 1.一种棒材捆件规整识别的方法； 其特 征在于， 其 步骤如下： S1： 确定摄 像头的位置并安装， 摄 像头与棒材产线工控PLC连通； S2： 深度学习语义分割模型开发并部署， 根据现场需要设置超限位置： S21： 人工标注摄 像头采集的棒材图像， 对图像进行 预处理； S22： 构建数据集， 解压数据集 生产训练集和验证集； S23： 设定训练参数， 训练网络： 通道个数及类别数均设置为3、 参数个数设为4、 设置100 个通用图表库、 基础学习率设为1E ‑3、 学习策略为ploy方式、 power＝0.9、 梯度下降方式选 择随机梯度下降； S24： 计算MI oU， 验证模型性能， S25： 编码的过程为： 将图片先进入DCNN， 同时取出一个低水平的特征用于后续解码， 该 DCNN包括四个卷积层和一个池化层， 之后通过这四个卷积层提取出来的特征加上池化层之 后的特征， 五个特征称为ASPP， 是深层特征， 再经过一个1*1的卷积层得到一个特征图， 这个 1*1卷积层是为了进行降维， 于是编码完成， 解码的过程为： 编码时候经过DCNN并且降维所 得到的特征图进行向上采样， 将之前在编码时的特征图经过1*1的卷积层得到一个特征图 与向上采样得到的特征图进行拼接， 得到一个新的特征图之后， 再经过一个3*3的卷积层， 最后向上采样得到预测的效果； S3： 棒材产线工控PLC接收到抬钢信号后， 调用摄像头抓取现场原始图像， 并进行规整 识别： 原始图通过语义分割模型对原始图像进行了 分割， 根据像素分类， 得到前景与背景图 像块， 输出棒材分割掩膜并进行形态学闭运算， 形态学闭运算的图像先经过膨胀 处理后采 用腐蚀处理， 连通断开的正样本， 并填平正样本的缝隙， 之后对掩膜取最大联通域， 去除负 样本噪点， 将后处理完成后的掩膜与根据现场需要设置的超限位置对比， 若掩膜超限则 说 明棒材超限， 判断为异常， 系统执 行对应操作； 若否， 则正常作业。 2.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S1中摄像头 的位置要求 为： 可以完整并清晰地拍摄到棒材捆包 件。 3.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S21中图像 预处理的流程为： 通过缩放将图像最大的长或宽 设定为500像素， 缩放后使用高斯核进 行高 斯滤波以去除噪声， 平 滑图像， 其中 高斯核模板大小为5 *5、 标差为0.5 。 4.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S22中训练 集的数据不少于10 0条、 验证集的数据不少于 50条。 5.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S24中MIoU 是该数据集中每一个类的交并比的平均、 k为类别数量、 i为像素个数、 TP表示真正例、 FP表 示假正例、 FN表示真反例。 6.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S25中卷积 层分别是1*1卷积层、 3*3膨胀率为6的卷积层、 3*3膨胀率为12的卷积层和3*3膨胀率为18的 卷积层， DCN N表示多孔卷积。 7.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S3 中图像膨 胀处理的作用是将 图像的高亮区域或白色部分扩张， 其运行结果图比原图的高亮区域更 大。权　利　要　求　书 1/2 页 2 CN 115457280 A 28.根据权利要求1所述的一种棒材捆件规整识别的方法， 其特征在于， 所述S3 中图像腐 蚀处理的作用是将图像的高亮区域或白色部分缩减细化， 其运行结果图比原图的高亮区域 更小。权　利　要　求　书 2/2 页 3 CN 115457280 A 3