(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210300383.9 (22)申请日 2022.03.25 (71)申请人 国电南瑞科技股份有限公司 地址 211106 江苏省南京市江宁经济技 术 开发区诚信大道19号2幢 (72)发明人 丁施磊　陈文通　俞一峰　王辉　 杨晓旭　李斌　郭霞　王刚　杨栩　 胡锟　车明仁　周宏宇　顾勇祥　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/34(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种厂站现场违章作业行为处理方法、 装置 及存储介质 (57)摘要 本发明公开了一种厂站现场违章作业行为 处理方法、 装置及存储介质， 包括： 获取厂站现场 的实时图像数据； 通过训练后的厂站现场违章作 业行为检测模型根据图像数据获取违章作业行 为； 通过预构建的检测结果处理逻辑库根据违章 作业行为生成相应的配置文件； 通过预设的功能 模块根据配置文件进行功能响应； 本发明可以提 升对违章行为的识别效果， 尤其针对多目标样本 识别， 识别速度、 模型泛化力、 算法鲁棒性较好， 能够有效地 提高了对违章行为的管控效果。 权利要求书3页 说明书9页 附图3页 CN 114842408 A 2022.08.02 CN 114842408 A 1.一种厂站现场违章作业行为处 理方法， 其特 征在于， 包括： 获取厂站现场的实时图像数据； 通过训练后的厂站现场违章作业行为检测模型根据图像数据获取违章作业行为； 通过预构建的检测结果处 理逻辑库根据违章作业行为 生成相应的配置文件； 通过预设的功能模块 根据配置文件进行功能响应； 其中， 所述厂站现场违章作业行为检测模型的训练过程包括： 获取厂站现场的实时图像数据并生成原 始样本库； 基于预构建的改进的Canny算子边缘检测方法优化原始样本库并生成第一训练样本 库； 基于第一训练样本库训练预构 建的基于Img2Img ‑GAN对抗网络的厂站现场图像生成模 型； 将原始样本库输入训练后的厂站现场图像生成模型 得到生成样本库； 对生成样本库进行厂站现场违章作业的人工标注并生成第二训练样本库； 基于第二训练样本库训练预构建的基于yolov4网络模型的厂站现场违章作业行为检 测模型。 2.根据权利要求1所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述获取 厂站现场的实时图像数据并生成原 始样本库包括： 在预设时间段内， 以预设采样周期为基准的数据筛 选窗口筛 选图像数据； 将筛选图像数据取平均值作为所述预设时间段的代 表性数据； 将每个预设时间段的代 表性数据汇总生成原 始样本集。 3.根据权利要求1所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述基于 图像增强算法优化原 始样本库并生成第一训练样本库包括： 基于图像增强算法优化原始样本库中图像数据生成相应的边缘图像数据， 并基于图像 数据以及相应的边 缘图像数据生成第一训练样本库。 4.根据权利要求3所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述基于 图像增强算法优化原 始样本库中图像数据生成相应的边 缘图像数据包括： 使用双边滤波对原 始样本库中的图像数据进行平 滑操作： S(x,y)＝f(x,y)*G(x,y) 其中， f(x,y)表示图像数据像素点(x,y)的灰度值， S(x,y)表示平滑操作后的图像数据 像素点(x,y)的灰度值， *表示卷积符号， σ 为标准差， 反应原 始图像的平 滑长度； 通过一阶导数的有限差分进行平 滑操作后的图像数据的梯度幅值和梯度方向的计算： 获取梯度幅值： Gx(x,y)＝S(x+1,y) ‑S(x‑1,y) Gy(x,y)＝S(x,y+1) ‑S(x,y‑1)权　利　要　求　书 1/3 页 2 CN 114842408 A 2G45°(x,y)＝S(x ‑1,y+1)‑S(x+1,y‑1) G135°(x,y)＝S(x+1,y+1) ‑S(x+1,y‑1) 其中， Gx(x,y)、 Gy(x,y)、 G45°(x,y)、 G135°(x,y)表示X方向、 Y方向、 45 °、 135°的梯度幅值， M(x,y)表示平 滑操作后的图像数据像素点(x,y)的梯度幅值； 获取梯度方向： 其中， θ(x,y)表示平 滑操作后的图像数据像素点(x,y)的梯度方向； 通过非极大值抑制对梯度幅值进行处 理， 使得边 缘的像素点达 到最佳值： 基于梯度幅值M(x,y)， 判断梯度方向θ(x,y)上像素点(x,y)的梯度增幅值是否是局部 的极大值： 若是， 则将所述像素点(x,y)作为边缘点保留； 若否， 则使用0表 示所述像素点(x, y)的灰度值， 将像素点(x,y)不作为 边缘点保留； 使用双阈值进行边 缘检测， 将边 缘二值化， 形成边 缘图像数据： 设定梯度增幅值阈值： 高阈值TH和低阈值TL； 若像素点(x,y)的增幅值阈值大于高阈值 TH， 则保留所述像素点(x,y)； 若像素点(x,y)的增幅值阈值小于低阈值TL， 则去除所述像素 点(x,y)； 若像素点(x,y)的增幅值阈值 大于等于低阈值TL且小于等于高阈值TH， 则判断所述 像素点(x,y)的领域上空间像素和高阈值TH的关系， 若空间像素大于高阈值TH， 则保留所述 像素点(x,y)， 若空间像素小于等于高 阈值TH， 则去除所述像素点(x,y)。 5.根据权利要求1所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述基于 第一训练样本库训练预构建的厂站现场图像生成模型包括： 获取第一训练样本库中的图像数据Y以及相应的边 缘图像数据X； 生成器根据输入的图像数据Y以及相应的边 缘图像数据X生成图像数据G(X)； 基于图像的通道维度将生成图像数据G(X)与边 缘图像数据X合并； 将合并结果输入判别器得到预测概 率值； 重复上述 步骤直至预测概 率值趋近于1， 则训练完成。 6.根据权利要求1所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述基于 第二训练样本库训练预构建的厂站现场违章作业行为检测模型包括： 将第二训练样本库中图像数据按照1:1划分为第一批图像数据和第二批图像数据； 设定第一模型训练参数， 并基于第 一批图像数据对厂站现场违章作业行为检测模型进 行训练； 设定第二模型训练参数， 并基于第 二批图像数据对第 一批图像数据训练后得到厂站现 场违章作业行为检测模型进行训练。 7.根据权利要求1所述的一种 厂站现场违章作业行为处理方法， 其特征在于， 所述厂站 现场违章作业行为检测模型包括四个部分； 第一部分为输入端， 所述输入端采用Mosaic数据增强对输入图像数据进行 预处理； 第二部分为BackB one主干架构， 所述BackBone主干架构将CSPDarknet53特征提取网络 和Mish激活函数结合， 具有38个卷积层； 所述CSPDarknet53特征提取网络对预处理后的图 像数据提取1倍下采样、 2倍下采样、 4倍下采样、 8倍下采样、 16倍下采样以及32倍下采样的权　利　要　求　书 2/3 页 3 CN 114842408 A 3