(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210878809.9 (22)申请日 2022.07.25 (71)申请人 浙江丰汇恒信息科技有限公司 地址 310000 浙江省杭州市上城区中山 南 路77号20幢43 3室 申请人 四川信息职业 技术学院 (72)发明人 叶茂　周绍勤　贺小芳　李沅昊　 汪雯雯　王旭　杨锦民　 (74)专利代理 机构 成都瑞创华盛知识产权代理 事务所 (特殊普通合伙) 51270 专利代理师 邓瑞 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01)G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 一种用于实验室安全管理的人员行为实时 检测算法及装置 (57)摘要 本发明涉及一种用于实验室安全管理的人 员行为实时检测算法， 使用基于Transformer的 多目标检测预训练模型， 同时检测人员位置、 物 品位置、 物品类型， 并识别出人员行为类型； 通过 与预定义的受控 行为类型比对， 实现对受控行为 的实时监测。 本发明不只监控人员的受控行为， 还对实验室内的重要物品(即受控物品)进行监 控， 提高了监测的准确性； 算法不基于专家系统， 无需定义行为图像库。 权利要求书2页 说明书7页 附图2页 CN 115100607 A 2022.09.23 CN 115100607 A 1.一种用于实验室安全管理的人员行为实时检测算法， 其特征在于： 使用基于 Transformer的多目标检测预训练模型， 同时检测人员位置、 物品位置、 物品类型， 并识别出 人员行为类型； 通过与预定义的受控行为类型比对， 实现对受控行为的实时监测。 2.根据权利要求1所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 包括以下步骤： S1： 模型训练： 获取实验室日常工作视频作为训练用监控视频， 根据训练用监控视频进 行图像数据标注后训练基于Transformer的多目标检测预训练模型； 所述图像数据标注包括标注人员、 标注受控物品以及标注受控行为； S2： 实时监测： 获取实时监控摄像头拍摄 的图像， 采用经模型训练的基于Transformer 的多目标检测预训练模型对实时监控摄像头拍摄的图像进 行人员、 受控物品以及受控行为 的检测； S3： 行为预警： 根据实时监测得到的人员、 受控物品以及受控行为检测结果按照预警规 则进行预警并采取相应的预警动作； S4： 模型调优： 实验室环境发生较大改变后， 需要进行调优训练(重新进行步骤S1优化 原有模型)。 3.根据权利要求2所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 所述基于Transformer的多目标检测预训练模型在受控物品或者受控行为发生变化时 进行调优训练； 所述步骤S1包括以下训练步骤： S101： 获取训练用监控视频， 在训练用监控视频中截取存在人员和受控物品的画面获 得训练用图片集 合； S102： 对训练用图片集 合中的每张图片进行图像数据标注得到标签集 合； S103： 对训练用图片集合以及标签集合进行数据增广得到增广数据集合， 并将增广数 据集合划分为训练数据集和验证数据集； S104： 采用训练数据集对基于Transformer的多目标检测预训练模型进行训练， 并采用 验证数据集进行模型准确率验证来判断是否结束训练。 4.根据权利要求3所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 所述标签集 合的标签包括： (1)图片中的人员位置； (2)图片中的受控物品位置； (3)图片中人员行为类型； (4)和人员交 互的受控物品类型； 所述步骤S103中数据增广的方法包括镜像、 缩放、 透 视变形、 扭曲、 增 加噪声。 5.根据权利要求1或2所述的一种用于实验室安全管理的人员行为实时检测算法， 其特 征在于： 所述基于Transformer的多目标检测预训练模 型包括依次连接的特征提取网络、 编 码器、 解码器层以及多个前向网络， 所述特征提取网络自图片数据提取得到特征图； 所述特 征图经编 码器编码得到编 码后的特征图； 所述编码后的特征图经解码器层解码得到特征输 出； 所述特 征输出经前向网络进行目标检测得到 输出向量。权　利　要　求　书 1/2 页 2 CN 115100607 A 26.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 所述编码器为多层堆叠的注意力机制的Transformer的编码 器； 所述解码器层为多层 Transformer解码器层。 7.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 所述前向网络包括人员位置检测网络、 物品位置检测网络、 物品类型网络以及动作类 型网络； 所述人员位置检测网络、 物品位置检测网络、 物品类型网络以及动作类型网络 分别 检测人员的位置、 受控物品的位置、 受控物品的类型以及受控行为的类型。 8.根据权利要求5所述的一种用于实验室安全管理的人员行为实时检测算法， 其特征 在于： 所述前向网络连接预测结果优化单元， 所述预测结果优化单元对输出向量出现多个 人员或多个受控物品或多个受控行为的预测结果进行优化匹配。 9.根据权利要求1或2所述的一种用于实验室安全管理的人员行为实时检测算法， 其特 征在于： 所述基于Transformer的多目标检测预训练模型的总损失函数为： L＝γ1L1+γ2L2+γ3L3 式中， γ1、 γ2、 γ3是超参数， L 为总损失函数； 式中 是第i个人员位置的预测， 是标签集合中标注的人员位置， 是第j个受控物 品的位置预测， 是标签集合中标注的第j个受控物品位置； 式中N是预测的样本数， q是受控物品的种类数， 如果第i个样本种类为c， 则objic＝1， 否 则objic＝0； pic是预测到样本i属于类别c的概 率； 式中N是预测的样本数， 其中p是受控行为类型数， 如果第i个样本种类为c， 则actic＝1， 否则actic＝0； pic是预测到样本i属于类别c的概 率。 10.一种用于实验室安全管理 的人员行为实时检测装置， 其特征在于： 包括监控设备以 及服务器； 所述监控设备采集训练用监控视频与实时监控摄像头拍摄的图像并将训练用监 控视频与实时监控摄像头拍摄的图像发送至服务器， 所述服务器采用训练用监控视频与实 时监控摄像头拍摄的图像实现权利要求1或2所述的一种用于实验室安全管理的人员行为 实时检测算法。权　利　要　求　书 2/2 页 3 CN 115100607 A 3