(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127617.0 (22)申请日 2022.09.16 (71)申请人 福建省海峡智汇科技有限公司 地址 361021 福建省厦门市同安区五显镇 五显街23 3号 (72)发明人 卢雨畋　李密　陈旭　陈佳期　 唐光铁　林旭　曾远强　周小报　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 陈远洋 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01)G06V 10/30(2022.01) G06V 10/32(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种流水线状态监测方法和系统 (57)摘要 本申请方面提出一种流水线状态 监测方法， 包括： S1， 利用挂轨机器人采集连续多张流水线 图像； S2， 利用训练好的目标检测模型判断图像 中是否存在目标， 是则继续判断， 否则结束判断； S3， 对流水线图像中连续的两张图像进行差运 算， 获得差运算图像， 根据差运算图像判断连续 的流水线图像 之间的差异， 并结合连续多张流水 线图像的判断结果确定流水线运动状态。 上述方 案提出了一种利用机器人结合计算机视觉的方 法对流水线运行状态进行检测的方法， 其利用挂 轨机器人采集一段时间内的流水线图像并进行 相似性判断， 从而得出流水线的物料的状态， 能 够及时观测到物料停滞等异常状态， 使流水线的 运作更加智能化。 权利要求书2页 说明书5页 附图5页 CN 115424075 A 2022.12.02 CN 115424075 A 1.一种流水线状态监测方法， 其特 征在于， 包括以下步骤： S1， 利用挂轨 机器人采集连续多张流水线图像； S2， 利用训练好的目标检测模型判断所述图像中是否存在目标， 是则继续判断， 否则结 束判断； S3， 对所述流水线图像 中连续的两张图像进行差运算， 获得差运算图像， 根据 所述差运 算图像判断连续的流水线图像之间的差异， 并结合连续多张流水线图像的判断结果确定流 水线运动状态。 2.根据权利要求1所述的一种流水线状态监测方法， 其特征在于， S2所述目标检测模型 基于YOLO算法框架构建， 并加入自注意力机制SE模块和CBAM模块。 3.根据权利要求2所述的一种流水线状态监测方法， 其特征在于， S2还包括： 根据前N张 图像获得图像 检测框， 根据所述图像 检测框对第N张后的图像进行裁 剪。 4.根据权利要求1所述的一种流水线状态监测方法， 其特 征在于， S3进一 步包括： 根据所述差运 算图像， 获得差运 算图像矩阵数据； 对每个差运算图像矩阵数据进行阈值判断， 所述阈值判断包括： 计算每个所述差运算 图像矩阵数据的元素和， 并与设定的阈值对比， 若大于所述阈值， 则运动判断计数值加 一， 否则运动判断计数值 不变； 对多个差运算图像矩阵数据进行阈值判断， 若运动判断计数值大于设定的运动判断阈 值， 则判断流水线运动， 否则判断流水线停滞。 5.根据权利要求1所述的一种流水线状态监测方法， 其特 征在于， S3进一 步包括： 对连续的两张所述差运 算图像进行差运 算， 获得二次差运 算图像； 对连续的两张所述二次差运算图像进行相似度判断， 若不相似， 则运动判断计数值加 一， 否则运动判断计数值 不变； 对多个二 次差运算图像矩阵数据进行阈值判断， 若运动判断计数值大于设定的运动判 断阈值， 则判断流水线运动， 否则判断流水线停滞。 6.根据权利要求5所述的一种流水线状态监测方法， 其特征在于， 所述相似度判断通过 训练好的孪生神经网络实现。 7.根据权利要求6所述的一种流水线状态监测方法， 其特征在于， 所述孪生神经网络包 括权值共享的两个VG G16神经网络 。 8.根据权利要求7所述的一种流水线状态监测方法， 其特征在于， 所述孪生神经网络为 三体孪生神经网络， 所述三体孪生神经网络的输入包括两组正样本和一组负样本， 所述正 样本为在流水线停滞 状态下获得的二次差运算图像， 所述负样本为在流水线运动状态下获 得的二次差运 算图像。 9.根据权利要求4或5所述的一种流水线状态监测方法， 其特征在于， 还包括对所述差 运算图像和/或二次差运 算图像进行图像处 理， 所述图像处 理包括灰度化和腐蚀化。 10.一种流水线状态监测系统， 其特 征在于， 包括： 图像采集模块， 配置用于利用挂轨 机器人采集连续多张流水线图像； 目标检测模块， 配置用于利用训练好的目标检测模型判断所述图像中是否存在目标， 是则继续判断， 否则结束判断； 状态检测模块， 配置用于对所述流水线图像中连续的两张图像进行差运算， 获得差运权　利　要　求　书 1/2 页 2 CN 115424075 A 2算图像， 根据所述差运算图像判断连续的流水线图像之间的差异， 并结合连续多张流水线 图像的判断结果确定流水线运动状态。权　利　要　求　书 2/2 页 3 CN 115424075 A 3