(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899064.4 (22)申请日 2022.07.28 (71)申请人 三峡绿色发展有限公司 地址 100043 北京市石景山区八角东 街25 号院1号楼5层512室 (72)发明人 杜俊凤　宋四新　赵宁　陈朋　 耿欣　徐正　刘雅雯　王旭　 王建强　焦仕奇　吴婉婷　吴镝　 林晓亮　邓铁强　李胜东　潘启旺　 邱萍　 (74)专利代理 机构 宜昌市三峡专利事务所 42103 专利代理师 黎泽洲 (51)Int.Cl. G06V 20/52(2022.01)G06V 40/20(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于计算机视觉的建筑工人临边不安 全行为识别方法 (57)摘要 本发明公开了一种基于计算机视觉的建筑 工人临边不安全 行为识别方法， 涉及计算机视觉 技术领域， 包括如下步骤： 根据文献分析和实地 调研结果确定建筑工地临边环 境； 利用公共数据 集训练模型， 并建立建筑工人 临边行为数据集进 行验证； 获取建筑工地视频图像， 对视频图像进 行处理； 利用建筑工人临边行为识别模型和处理 得到的图像数据， 识别建筑工人临边行为； 本发 明通过整体方法的使用， 在对建筑工人临边不安 全行为进行识别时， 能够有效的提高系统对临边 不安全行为检测的精度， 并利用像素分割结果对 临边状态判别的方法， 能够较好的监测建筑施工 环境中的临边不安全行为， 增强建筑施工环境中 的智能化和自动化的预警能力， 提高安全管理的 成效。 权利要求书2页 说明书7页 附图5页 CN 115272968 A 2022.11.01 CN 115272968 A 1.一种基于计算机视觉的建筑工人临边不安全行为识别方法， 其特征在于:包括如下 步骤： S1， 根据文献分析和实地调研结果确定建筑工地临边环境； S2， 利用公共数据集训练模型， 并建立建筑工人临边行为数据集进行验证； S3， 获取建筑工地视频图像， 对视频图像进行处 理； S4， 利用建筑工人临边行为识别模型和处 理得到的图像数据， 识别建筑工人临边行为； S5， 根据Mask ‑RCNN模型建立建筑工人临边状态判别模型； S6， 根据建立的建筑工人临边状态判别模型计算结果确定建筑工人是否处于临边状 态。 2.根据权利要求1所述的一种基于计算机视觉的建筑工人临边不安全行为识别方法， 其特征在于： S4中利用建筑工人临边行为识别模型， 识别建筑工人临边行为的识别步骤如 下： S401： 输入视频图像数据； S402： 利用E CA‑NeXt网络提取空间特 征； S403： 利用Bi ‑LSTM提取时域特 征； S404： 输出建筑工人临边行为状态。 3.根据权利要求1所述的一种基于计算机视觉的建筑工人临边不安全行为识别方法， 其特征在于： S 5中根据Mask ‑RCNN模型建立建筑工人 临边状态判别模 型， 其中建筑工人 临边 状态判别模型建立 步骤如下： S501： 全程随机获取工人 行为全局图像作为检测输入； S502： 利用Mask ‑RCNN对输入图像中的设定目标进行检测 和像素分割； S503： 在模型检测到的建筑工人 人体像素集周围标定一个最小的外 接矩阵； S504： 通过遍历人体最小外接矩阵的像素集合， 计算集合与防护栏像素集合的像素交 集占集合的比例； S505： 设定阈值。 4.根据权利要求1所述的一种基于计算机视觉的建筑工人临边不安全行为识别方法， 其特征在于： S 6中根据建立的建筑工人临边状态判别模型计算结果确定 建筑工人是否处于 临边状态； 具体方法如下： S601： 当计算的相交比例值超过设定阈值即认为工人处于临边状态； S602： 当计算的值未超过 该阈值即认为工人处于非临边状态。 5.一种基于计算机 视觉的建筑工人临边 不安全行为识别系统， 其特 征在于： 包括： 临边环境确定模块： 用于根据文献分析和实地调研结果确定建筑工地临边环境； 数据集验证模块： 用于利用公共数据集训练模型， 并建立建筑工人临边行为数据集进 行验证； 图像处理模块： 用于获取建筑工地视频图像， 对视频图像进行处 理； 临边行为识别模块： 用于利用建筑工人临边行为识别模型和 处理得到的图像数据， 识 别建筑工人临边行为； 建筑工人临边状态判别模型建立模块： 用于根据Mask ‑RCNN模型建立建筑工人临边状 态判别模型；权　利　要　求　书 1/2 页 2 CN 115272968 A 2临边状态确定模块： 用于根据建立的建筑工人临边状态判别模型计算结果确定建筑工 人是否处于临边状态。 6.根据权利要求5所述的一种基于计算机视觉的建筑工人临边不安全行为识别系统， 其特征在于： 所述临边行为识别模块包括： 视频图像输入单 元： 用于输入视频图像数据； 空间特征提取单元： 用于利用E CA‑NeXt网络提取空间特 征； 时域特征提取单元： 用于利用Bi ‑LSTM提取时域特 征； 临边行为输出 单元： 用于输出建筑工人临边行为类别。 7.根据权利要求5所述的一种基于计算机视觉的建筑工人临边不安全行为识别系统， 其特征在于： 所述建筑工人临边状态判别模型建立模块包括： 行为图像获取 单元： 用于全程随机获取工人 行为全局图像作为检测输入； 检测和像素分割单元： 用于利用Mask ‑RCNN对输入图像中的设定目标进行检测和像素 分割； 外接矩阵标定单元： 用于在模型检测到的建筑工人人体像素集周围标定一个最小的外 接矩阵； 比例计算单元： 用于通过遍历人体最小外接矩阵的像素集合， 计算集合与防护栏像素 集合的像素交集占集 合的比例； 阈值设定单 元： 用于设定阈值。 8.根据权利要求5所述的一种基于计算机视觉的建筑工人临边不安全行为识别系统， 其特征在于： 所述临边状态确定模块包括： 临边状态输出单元： 用于当计算的相交比例值超过设定阈值即认为工人处于临边状 态； 非临边状态输出 单元： 用于当计算的值未超过 该阈值即认为工人处于非临边状态； 临边不安全行为判别单元： 根据临边行为状态结果和行为判别结果， 判别建筑工人在 临边状态下的不 安全行为， 并提出报警 警告。 9.一种智能计算机设备， 其特征在于： 包括存储器和处理器， 所述存储器中存储有计算 机可读指 令， 所述处理器执行所述计算机可读指 令时实现如权利要求 1至4中任一项 所述的 基于计算机 视觉的建筑工人临边 不安全行为识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至4中任一项 所述的基于 计算机视觉的建筑工人临边 不安全行为识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115272968 A 3