(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210904261.0 (22)申请日 2022.07.29 (71)申请人 深圳叮当科技 技术有限公司 地址 518000 广东省深圳市福田区福保街 道益田社区益田路1005号益田村62栋 1单元101-201 (72)发明人 周慧　张昆　甘东　李柏岐　陈威　 罗源　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 李良 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/30(2022.01)G06V 10/34(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) (54)发明名称 基于深度学习的工地安全行为监测方法、 装 置及电子设备 (57)摘要 本发明公开了一种基于深度学习的工地安 全行为监测方法、 装置及电子设备， 方法包括： 获 取工地人员的倒地图片作为初始样 本集； 通过生 成对抗网络对初始样本集进行扩充， 生成目标样 本集； 基于目标样本集对倒地行为检测模型进行 训练， 生成目标行为检测模型； 获取摄像头拍摄 的视频， 将视频处理为连续的图像帧； 将图像帧 输入目标行为检测模型， 获取目标行为检测模型 的输出结果； 若在第一预定时间内倒地行为图像 帧数超过预设的第一阈值， 则判定发生倒地事 件， 对倒地行为图像帧对应的摄像头进行定位， 将倒地行为图像帧及摄像头位置发送至管理人 员终端。 本发 明提高了工地上倒地行为检测的准 确率， 在发生倒地事件时， 及时通知管理人员， 提 升工地安全性。 权利要求书2页 说明书9页 附图4页 CN 114973335 A 2022.08.30 CN 114973335 A 1.一种基于深度学习的工地 安全行为 监测方法,其特 征在于,所述方法包括： 获取工地人员的倒地图片作为初始样本集； 通过生成对抗网络对倒地图片生成任意角度倒地图片， 对初始样本集进行扩充， 生成 目标样本集； 所述 生成对抗网络包括 生成器和判别器； 基于所述目标样本集对倒地行为检测模型进行训练， 生成目标 行为检测模型； 获取摄像头拍摄的视频， 将视频处 理为连续的图像帧； 将所述图像帧输入目标行为检测模型， 获取目标行为检测模型的输出结果， 所述目标 行为检测模型用于判断图像帧是否为倒地行为图像帧； 若在第一预定时间内倒地行为图像帧数超过预设的第一阈值， 则判定发生倒地事件， 对倒地行为图像 帧对应的摄像头进行定位， 生成倒地行为图像 帧对应的摄像头位置， 将所 述倒地行为图像帧及摄 像头位置发送至管理人员终端。 2.根据权利要求1所述的方法， 其特征在于， 所述通过生成对抗网络对倒 地图片生成任 意角度倒地图片， 对初始样本集进行扩充， 生成目标样本集， 包括： 预先构建初始生成对抗网络的生成器和判别器； 基于倒地图片对初始生成对抗网络的生成器和判别器进行训练， 训练时采用的目标函 数为： 其中G为生 成器， D为判别器， 表示x属于生 成器的概率， 表示x取自真正的 分布， 表示z取自模拟的分布； 获取训练完成后的生成对抗网络的输出， 输出为任意角度倒 地图片， 生成 目标样本集， 完成初始样本集扩充。 3.根据权利要求2所述的方法， 其特征在于， 所述基于倒地图片对初始生成对抗网络的 生成器和判别器进行训练， 包括： 将生成对抗网络的网络及训练参数进行初始化； 获取初始样本集中的真实数据损失函数和 虚数数据损失函数， 基于初始样本集中的真 实数据损失函数和虚数 数据损失函数对判别器进行训练； 检测到所述判别器训练完成， 对生成器进行训练。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述目标样本集对倒 地行为检测 模型进行训练， 生成目标 行为检测模型， 包括： 将所述目标样本集输入预先构建的倒地行为检测模型， 对倒地行为检测模型进行训 练， 生成目标 行为检测模型， 其中， 所述预 先构建的倒地行为检测模型为 二分类网络 。 5.根据权利要求4所述的方法， 其特征在于， 所述获取摄像头拍摄的视频， 将视频处理 为连续的图像帧后， 还 包括： 根据差分法对图像帧进行解析； 根据解析 结果判断图像帧中是否有工人存在； 若有工人存在， 则标记为目标图像帧； 若无工人存在， 则标记为非目标图像帧。权　利　要　求　书 1/2 页 2 CN 114973335 A 26.根据权利要求5所述的方法， 其特征在于， 将所述图像帧输入目标行为检测模型， 获 取目标行为检测模型的输出 结果， 包括： 将所述目标图像帧输入目标行为检测模型， 获取目标行为检测模型输出结果， 所述输 出结果为目标图像帧是倒地行为图像帧或非倒地行为图像帧。 7.根据权利要求6所述的方法， 其特征在于， 若在第 一预定时间内倒 地行为图像帧数超 过预设的第一阈值， 则判定发生倒地事件， 对倒地行为图像帧对应的摄像头进 行定位， 生成 倒地行为图像帧对应的摄像头位置， 将所述倒地行为图像帧及摄像头位置发送至管理人员 终端后， 包括： 根据输出 结果判断所述图像帧是否为倒地行为图像帧； 若所述图像帧为倒 地图像帧， 则判断在第 一预定时间内倒 地行为图像帧数是否超过预 设的第一阈值； 若在第一预定时间内倒地行为图像帧数超过预设的第一阈值， 则判定发生倒地事件， 对倒地行为图像 帧对应的摄像头进行定位， 生成倒地行为图像 帧对应的摄像头位置； 将所 述倒地行为图像帧及摄 像头位置发送至管理人员终端。 8.一种基于深度学习的工地 安全行为 监测装置， 其特 征在于， 所述装置包括： 数据采集模块， 用于获取工地人员的倒地图片作为初始样本集； 样本扩充模块， 用于通过生成对抗网络对倒地图片生成任意角度倒地图片， 对初始样 本集进行扩充， 生成目标样本集； 所述 生成对抗网络包括 生成器和判别器； 网络训练模块， 用于基于所述目标样本集对倒地行为检测模型进行训练， 生成目标行 为检测模型； 图像处理模块， 用于获取摄 像头拍摄的视频， 将视频处 理为连续的图像帧； 检测模块， 用于将所述连续的图像帧依次输入目标行为检测模型， 获取目标行为检测 模型的输出 结果； 数据发送模块， 用于若在第一预定时间内倒地行为图像帧数超过预设的第一阈值， 则 判定发生倒地事件， 对倒地行为图像 帧对应的摄像头进行定位， 生成倒地行为图像 帧对应 的摄像头位置， 将所述倒地行为图像帧及摄 像头位置发送至管理人员终端。 9.一种电子设备， 其特 征在于， 所述电子设备包括至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述的基于深度学习的 工地安全行为 监测方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介 质存储有计算机可执行指令， 该计算机可执行指令被一个或多个处理器执行时， 可使得所 述一个或多个处理器执行权利要求 1‑7任一项所述的基于深度学习的工地安全 行为监测方 法。权　利　要　求　书 2/2 页 3 CN 114973335 A 3