(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211330707.X (22)申请日 2022.10.28 (71)申请人 山东新众通信息科技有限公司 地址 272000 山东省济宁市任城区李营街 道中德广场B座1010室 (72)发明人 刘祥　贾利梅　马宗绪　 (74)专利代理 机构 济宁汇景知识产权代理事务 所(普通合伙) 37254 专利代理师 葛玉彬 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/24(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 基于监控视频的施工现场危险行为识别方 法 (57)摘要 本发明涉及图像处理技术领域， 具体涉及一 种基于监控视频的施工 现场危险行为识别方法， 该方法对配电箱的检测区域的第一RGB图像进行 人体关键点检测， 当检测到人体关键点时， 检测 每个时刻下人员图像中的左手和右手对应的手 部ROI区域， 分别得到最优时刻下的手部ROI区 域； 对最优时刻下的手部ROI区域进行旋转， 得到 标准方向下的标准手部ROI区域； 将标准手部ROI 区域划分为手 掌区域和手指区域； 分别获取手掌 区域和手指区域的纹理特征图、 温差图以及反光 性图， 利用神经网络检测出对应的手套类型， 基 于手套类型进行危险行为预警。 本发 明能够分别 准确识别人员的两只手的手套佩戴情况， 以提升 危险行为预警的准确率。 权利要求书3页 说明书9页 附图1页 CN 115471874 A 2022.12.13 CN 115471874 A 1.基于监控视频的施工现场危险行为识别方法， 其特 征在于， 该 方法包括以下步骤： 设定配电箱的检测区域， 获取检测区域的第一RGB图像， 对第一RGB图像进行人体关键 点检测， 当检测到人体 关键点时， 获取设定时长内每个时刻下检测区域中的人员图像， 人员 图像包括RGB图像、 红外热图和深度图像； 分别获取人员图像中左手和右手对应的手部ROI 区域， 根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域， 一个手部ROI区域 对应一个最优时刻； 对于任意一个最优时刻下的手部ROI区域， 根据红外热图中手部ROI区域的温度值变化 对手部ROI区域进行旋转， 得到标准方向下的标准手部ROI区域； 将标准手部ROI区域划分为 手掌区域和手指区域； 对于任意一个标准手部ROI区域的手掌区域， 基于深度图像获取手掌区域中每个像素 点的第一圆形邻域的灰度共生矩阵， 将灰度共生矩阵的熵值和能量相加的结果的倒数作为 对应像素点的纹理规律值， 将手掌区域中每个像素点的深度值替换为对应的纹理规律值得 到纹理特征图； 基于红外热图获取手掌区域的温差图； 获取RGB图像的灰度图像， 基于手掌 区域在灰度图像中的灰度值获取反光性图； 获取标准手部ROI区域的手指区域的纹理特征 图、 温差图和反光 性图； 将任意一个标准手部ROI区域的手掌区域以及手指区域的纹理特征图、 温差图和反光 性图输入神经网络中， 得到对应标准手部ROI区域对应的手套类型， 基于手套类型进 行危险 行为预警。 2.如权利要求1所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域的方法， 包括： 获取每个时刻 下RGB图像的灰度图像， 根据灰度图像中手部ROI区域 内每个像素点的灰 度值， 计算灰度值方差作为对应时刻下手部ROI区域的灰度变化 程度； 获取每个时刻下右手的手部ROI区域的灰度变化程度， 选取灰度变化程度最大所对应 时刻的手部ROI区域作为右手的最优时刻下的手部ROI区域； 获取每个时刻下左手的手部ROI区域的灰度变化程度， 选取灰度变化程度最大所对应 时刻的手部ROI区域作为左手的最优时刻下的手部ROI区域。 3.如权利要求1所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 根据红外热图中手部ROI区域的温度值变化对手部ROI区域进 行旋转， 得到标准方向下的标 准手部ROI区域的方法， 包括： 连接红外热图中的手肘关键点和手部关键点得到第 一直线， 第 一直线的方向是手肘关 键点指向手部 关键点； 获取手部ROI区域的最小外接圆， 获取第一直线与最小外接圆的交点 作为手腕关键点； 基于第一直线的方向， 以手腕关键点为起点， 获取起点的延长线与最小外接圆相交时 对应的第二直线， 基于 设定的旋转角度分别获取第二直线在顺时针旋转和逆时针旋转下的 N条直线； N 为正整数； 对于第二直线和任意一条直线， 获取直线在手部ROI区域中对应像素点的最大温度值 和最小温度值， 将最大温度值和最小温度值之间的差值作为对应直线的温度幅值； 分别以 直线上的任意一个像素点为起点， 沿着第二条直线的方向做第三直线， 计算第三直线在手 部ROI区域中对应的所有像素点的温度值方差， 将直线上每个像素点对应的温度值方差的权　利　要　求　书 1/3 页 2 CN 115471874 A 2平均值作为对应直线的温度差异值； 对于第二直线以及任意一条直线的温度 幅值和温度差异值， 以温度差异值为分母、 温 度幅值为分子得到对应的比值， 获取最大比值所对应的直线， 在该直线上以手腕关键点为 起始点得到该直线的方向向量， 将 手部ROI区域旋转至方向向量为竖直向下， 进而得到标准 方向下的标准手部ROI区域， 标准方向是指手垂直向下对应的方向。 4.如权利要求3所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 将标准手部ROI区域划分为手掌区域和手指区域的方法， 包括： 统计设定数量人员的身高和手掌长度， 以身高为横坐标、 手掌长度为纵坐标进行直线 拟合， 将直线拟合的直线斜 率作为身高和手掌长度之间的相关比例值； 对最优时刻下RGB图像进行人体关键点检测， 得到一个头部关键点和两个足部关键点 的纵坐标， 计算两个足部关键点的纵坐标之间的平均坐标， 将头部关键点的纵坐标减去平 均坐标得到人员的预计身高， 将预计身高和相关比例值的乘积作为该人员的预估手掌长 度； 基于最大比值所对应的直线在深度图像中每个像素点的深度值， 计算该直线的两端点 的深度差值； 对 预估手掌长度和深度差值使用勾股定理得到手掌区域长度； 在标准手部ROI 区域中从上到小的长度为手掌区域长度的位置作一条水平线， 水平线的上面为手掌区域， 水平线的下 方为手指区域。 5.如权利要求1所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 基于红外热图获取手掌区域的温差图的方法， 包括： 根据红外热图中每个像素点的温度值， 分别计算手掌区域的第 一平均温度值和手指区 域的第二平均温度值， 利用第一平均温度值和 第二平均温度值之 间的差值绝对值替换手掌 区域中每 个像素点的温度值， 得到手掌区域的温差图。 6.如权利要求1所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 基于手掌区域在灰度图像中的灰度值获取反光 性图的方法， 包括： 利用sobel算子获取手掌区域的边缘像素点， 将灰度值大于或等于灰度值阈值的边缘 像素点的灰度值设定为1， 灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0， 得 到二值图像， 将二 值图像作为反光 性图。 7.如权利要求1所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 获取标准手部ROI区域的手指区域的纹 理特征图、 温差图和反光 性图的方法， 包括： 基于深度图像获取手指区域中每个像素点的第 二圆形邻域的灰度共生矩阵， 将灰度共 生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值， 将手指区域中每个 像素点的深度值替换为对应的纹理规律值得到纹理特征图； 基于红外热图获取手指区域的 温差图； 获取RGB图像的灰度图像， 基于手指区域在灰度图像中的灰度值获取反光 性图。 8.如权利要求7所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述 基于红外热图获取手指区域的温差图的方法， 包括： 根据红外热图中每个像素点的温度值， 分别计算手掌区域的第 一平均温度值和手指区 域的第二平均温度值， 利用第一平均温度值和 第二平均温度值之 间的差值绝对值替换手指 区域中每 个像素点的温度值， 得到手指区域的温差图。 9.如权利要求7所述的基于监控视频的施工现场 危险行为识别方法， 其特征在于， 所述权　利　要　求　书 2/3 页 3 CN 115471874 A 3