(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210993747.6 (22)申请日 2022.08.18 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 谢俊　王子贤　赵宇凡　刘军　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 屠志炜 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G08B 21/18(2006.01) G08B 21/24(2006.01) (54)发明名称 一种基于监控视频的车间危险行为识别报 警方法及系统 (57)摘要 本发明提供了一种基于监控视频的车间危 险行为识别报警方法及系统， 包括如下步骤： 采 集危险行为图像数据集； 利用改进后的YOLOv4 ‑ MobileNet  V3深度学习网络架构， 构建多个危险 行为识别模块； 将训练集输入构建的多个危险行 为识别模块， 利用损失函数训练得到训练完成的 多个危险行为识别模块； 将测试集输入训练完成 的多个危险行为识别模块进行卷积处理， 模型输 出的分类结果包括目标所属的类别和对应的置 信度； 根据目标置信度设置阈值， 去除置信度低 于阈值的目标所属的类别； 基于卷积处理完成的 多个危险行为识别模块对监控视频中所有图像 帧判定是否存在危险行为， 当认定存在危险行 为， 触发报警模块。 本发明能够对车间内行为进 行实时监控并检测。 权利要求书3页 说明书9页 附图4页 CN 115331172 A 2022.11.11 CN 115331172 A 1.一种基于监控视频的车间危险行为识别报警方法， 其特 征在于， 包括如下步骤： S1： 采集危险行为图像数据集， 通过图像增广技 术对获取的图像进行 数量补充； S2： 对危险行为图像预处 理， 确定训练集和 测试集； S3： 利用改进后的YOLOv4 ‑MobileNet  V3深度学习网络架构， 构建多个危险行为识别模 块； S4： 将训练集输入构建的多个危险行为识别模块， 利用损失函数训练得到训练完成的 多个危险行为识别模块； S5： 将测试集输入训练完成的多个危险行为识别模块进行卷积处理， 模型输出的分类 结果包括 目标所属的类别和对应的置信度； 根据目标置信度设置阈值， 去除置信度低于阈 值的目标 所属的类别； S6： 基于卷积处理完成的多个危险行为识别模块对监控视频中所有图像帧判定是否存 在危险行为， 当认定存在危险行为， 触发报警模块。 2.根据权利要求1所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 所 述危险行为图像数据集中包括抽烟图像、 进食图像和玩手机图像。 3.根据权利要求1所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 通 过裁剪混合、 马赛克数据增强和类标签平滑对危险行为图像处理； 所述数据集中训练集和 测试集的样本比例为10∶ 1。 4.根据权利要求1所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 所 述利用改进后的YOLOv4 ‑MobileNet V3深度学习的分类网络架构， 构建多个危险行为识别 模块， 具体为包括如下步骤： S3.1： 使用的YOLOv4 ‑MobileNet  V3深度学习网络架构包括Backbone特征提取主干网 络、 Neck加强特 征提取网络和Head预测网络： 在Backbone特征提取主干网络中， 将原YOLOv4网络中的CSPDarknet53替换为 MobileNet  V3， 将MobileNet  V3中通道注意力SENet机制模块替换为位置注意力CA机制模 块； 在Neck加强特征提取网络中， 将YOLOv4网络中的PANet模块中普通卷积更换为深度可 分离卷积； 所述Head预测网络为YOLOv4中Head预测网络； S3.2： 利用K ‑means++算法进行锚框维度聚类。 5.根据权利要求4所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 所 述位置注意力CA机制模块， 将通道注意力分解为两个1维特征编码， 分别沿2个空间方向聚 合， 在沿一个空间方向捕获远程依赖关系的同时沿另一空间方向保留精确的位置信息； 将 生成的特 征图分别编码为 一堆方向感知和位置敏感的注意力 信息， 具体包括如下步骤： 坐标信息嵌入： 给定输入xc， 使用尺寸为(H,1)或(1,W)的池 化核分别沿着水平坐标和垂 直坐标对每 个通道进行编码， 高度为h的第c通道的输出 可以表示 为： 宽度为W的第c通道的输出 可以表示 为：权　利　要　求　书 1/3 页 2 CN 115331172 A 2其中： xc(h,p)表示第c通道中高度为h的第p个竖直张量； xc(q,w)表示第c通道中宽度为w的第 q个水平张量； 和 分别为两个空间方向聚合特征， 得到对应方向感知特征图； RC ×H×W是通道数量 为C、 水平方向长度为H、 垂直方向长度为 W的特征合集； 坐标注意力生成： 对 和 进行连接操作， 然后使用1*1卷积变换函数F1对其进 行变换操作： 式中， [,]为沿空间维数的连接操作； δ为非线性激活函数； fc∈RC/r×(H+w)为对空间信息 在水平方向和垂直方向进行编码的中间特征映射； 沿着空间维度将生成的fc分解为两个单 独的张量 和 r用于控制SE  block大小的缩 减率； 利用另外两个1*1卷积变换函数Fh和fw分别将第c通道中特征图 和 变换， 输出表示 为 和 和 分别作为注意力权 重如下式： 其中， σ 是sigmoid激活函数， i为第c通道中水平坐标变量， j为第c通道中垂直坐标变 量； 注意力CA机制模块的输出如下： 其中： xc(i,j)是第c通道中的输入特 征。 6.根据权利要求4所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 在 Neck加强特征提取网络中， 将YOLOv4网络中的PANet模块中普通卷积更换为深度可分离卷 积， 其中深度可分离 卷积参数量是普通卷积的 倍， 式中DK为卷积核大小， N为输 出通道 数。 7.根据权利要求1所述的基于监控视频的车间危险行为识别报 警方法， 其特征在于， 所 述置信度定义 为： 其中， 表示第m个网格单元的第n个边界框的置信度； Pr(Object)代表当前边界框有 对象的概率； 表示当前的边界框有对象时， 预测的边界框和物体真实的边界框交 并比。 8.一种根据权利要求1 ‑7任一项所述的基于监控视频的车间危险行为识别报 警方法的 系统， 其特 征在于， 包括 监控设备、 计算设备、 控制设备、 显示设备和报警设备； 所述监控设备用于采集车间监控摄像头拍摄的实时视频数据， 将车间实时视频传输至权　利　要　求　书 2/3 页 3 CN 115331172 A 3