(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210849707.4 (22)申请日 2022.07.19 (71)申请人 中国兵器装备集团自动化研究所有 限公司 地址 621000 四川省绵阳市游仙区仙人路 二段7号 (72)发明人 牟骏杰　陈昌金　王鑫　聂红　 赵誉杰　王景　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 南海燕 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 30/148(2022.01) (54)发明名称 一种人员违规行为识别方法、 装置、 设备及 存储介质 (57)摘要 本发明公开了一种人员违规行为识别方法、 装置、 设备及存储介质。 该方法可 以利用目标检 测网络实现工厂违规行为的实时报警功能， 利用 行人重识别reid算法完成违规行为匹配到具体 员工， 以及违规行为查询统计的功能。 系统的对 违规行为判断与查询， 为智慧工厂中违规行为检 测， 违规行为提醒， 违规行为校正都提供了有力 的基础， 后续增加新的违规行为检测， 也可以随 时插入此系统， 具有可持续发展可随时更新的意 义。 权利要求书2页 说明书9页 附图3页 CN 115223246 A 2022.10.21 CN 115223246 A 1.一种人员违规行为识别方法， 其特 征在于， 所述方法包括： 采用训练完成的YOLOV5目标检测网络对摄像头传输的待检测区域的目标图像进行目 标检测获得目标检测结果； 确定所述目标检测结果包括人员违规行为， 产生报警信息并将所述目标检测结果保 存； 获取所述目标检测结果包含的目标检测框， 所述目标检测框包括违规人员身份检测特 征； 利用所述目标检测框与预先建立的人员 身份样本特征gallery图库进行匹配识别， 确 定违规人员身份信息； 将确定的所述人员违规行为的类型以及所述人员的身份信息进行保存并上传至监控 系统。 2.根据权利 要求1所述的人员违规行为识别方法， 其特征在于， 所述YOLOV5目标检测网 络包括采用CSPDarknet53的基网络、 采用SPP模块配合FPN和PAN结构的融合模块以及采用 CIOU_Loss的损失函数。 3.根据权利 要求2所述的人员违规行为识别方法， 其特征在于， 所述YOLOV5目标检测网 络的训练数据集的至少一部分通过copy ‑paste的图片数据扩展方式生成和/或采用DCGAN 生成。 4.根据权利要求1所述的人员违规行为识别方法， 其特征在于， 利用所述目标检测框与 所述人员身份样本特 征gallery图库进行 行人Reid重识别确定违规人员身份信息 。 5.根据权利要求4所述的人员违规行为识别方法， 其特征在于， 所述Reid重识别包括利 用RexNext网络提取所述目标检测框的特征， 利用avgpool  ing对特征向量进行聚合形成全 局特征， 对所述全局特征进行归一化， 利用DSR方法进行度量学习， 根据特征距离差值与人 员身份样本特 征gallery图库的特 征进行比对确定违规人员身份信息 。 6.根据权利要求1所述的人员违规行为识别方法， 其特征在于， 识别所述目标图像的文 本信息， 根据所述文本信息确定所述违规行为发生的地点以及时间， 将确定的所述人员违 规行为的类型、 所述人员的身份信息、 所述 地点以及所述时间进行保存并上传至监控系统。 7.根据权利要求6所述的人员违规行为识别方法， 其特征在于， 利用光学字符识别系统 识别所述目标图像中的文本信息， 利用预训练的语言表征模型BERT配合Transformer对文 本信息进行实体识别， 以便确定所述违规行为发生的地 点以及时间。 8.一种人员违规行为识别装置， 其特 征在于， 所述装置包括： 目标检测结果获取单元， 用于采用训练完成的YOLOV5目标检测网络对摄像头传输的待 检测区域的目标图像进行目标检测获得目标检测结果； 人员违规行为确定单元， 用于确定所述目标检测结果包括人员 违规行为， 产生报警信 息并将所述目标检测结果保存； 目标检测框确定单元， 用于获取所述目标检测结果包含的目标检测框， 所述目标检测 框包括违规人员身份 检测特征； 违规人员身份信 息确定单元， 用于利用所述目标检测框与预先建立的人员身份样本特 征gallery图库进行匹配识别， 确定违规人员身份信息； 上传单元， 用于将确定的所述人员违规行为的类型以及所述人员的身份信 息进行保存权　利　要　求　书 1/2 页 2 CN 115223246 A 2并上传至监控系统。 9.一种识别统计设备， 其特 征在于， 所述设备包括处 理器以及存 储器： 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据 所述程序代码中的指令执行权利要求1 ‑7任一项所述的人员违规 行为识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储程序代 码， 所述程序代码用于执 行权利要求1 ‑7任一项所述的人员违规行为识别方法。权　利　要　求　书 2/2 页 3 CN 115223246 A 3