(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211143896.X (22)申请日 2022.09.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 杜启亮　杨湖广　曲烽瑞　田联房　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于视频的动态烟雾 检测方法 (57)摘要 本发明公开了一种基于视频的动态烟雾检 测方法， 首先， 构建烟雾训练集并标注， 将烟雾训 练集中的图像和对应标注文件输入烟雾静态检 测算法训练， 将摄像头采集到的待检测的视频流 输入训练好的烟雾静态检测算法， 得到烟雾检测 框， 使用基于软边界的非极大值抑制算法， 对烟 雾目标检测框进行筛选； 通过卡尔曼滤波对烟雾 目标的track s进行预测， 进行I OU匹配； 通过匈牙 利算法获得烟雾目标匹配结果； 将经过动态烟雾 检测筛选后的烟雾检测框绘制在相应视频帧上， 在烟雾检测框的左上角区域标出检测框的预测 类别信息。 本发 明可实时检测火灾发生时的烟雾 情况， 对烟雾进行精准检测和定位， 实现对火灾 的实时预警作用。 权利要求书3页 说明书7页 附图5页 CN 115546682 A 2022.12.30 CN 115546682 A 1.一种基于 视频的动态烟雾检测方法， 其特 征在于， 包括以下步骤： 1)通过摄像头对环境中的烟雾情况进行监控， 收集带有烟雾目标的图像， 构建烟雾训 练集； 2)使用标注工具对烟雾数据集进行标注， 标注出烟雾数据集中烟雾目标的位置信 息和 类别信息， 生成标注文件； 3)将烟雾训练集中的图像和对应标注文件输入到设计的烟雾静态检测算法中进行检 测， 根据预设的训练迭代数进行训练， 训练结束后保存训练好的烟雾静态检测算法的模型 参数； 其中， 所述烟雾静态检测算法为改进的基于候选区域的目标检测模型， 其改动之处是 在原来基于候选区域的目标检测模型的特征提取模块中加入了可变形卷积， 以增加模型对 烟雾静态特 征的特征提取能力； 4)将步骤3)训练好的模型参数载入设计的烟雾静态检测算法中， 得到最优的烟雾静态 检测算法， 将摄像头采集到的待检测的视频流输入到最优的烟雾静态检测算法中， 进行逐 帧图像检测， 根据烟雾目标的静态特 征初步得到烟雾检测框； 5)根据步骤4)中初步获得的烟雾检测框的置信度信息和边框位置信息， 使用基于软边 界的非极大值抑制算法， 对烟雾检测框进行筛 选， 去除重复检测的烟雾检测框； 6)通过卡尔曼滤波对烟雾目标的轨迹tracks进行预测， 将烟雾静态检测算法获得的当 前帧的烟雾检测框与上一帧烟雾目标的t racks进行IOU匹配； 7)通过烟雾目标在当前帧的烟雾检测框与烟雾目标在上一帧预测得到的tracks之间 的IOU匹配值获得的代价矩阵， 利用匈牙利算法， 获得线性匹配结果， 当烟雾目标的tracks 不匹配时， 直接删除不匹配烟雾目标的tracks， 当烟雾检测框不匹配时， 将烟雾检测框初始 化为新的tr acks， 当烟雾检测框与tr acks匹配成功， 说明前一帧的烟雾目标与当前帧的烟 雾目标为同一目标， 将当前帧对应的烟雾检测框通过卡尔曼 滤波更新 其tracks； 8)重复步骤6)和步骤7)获得视频流中不同帧图像中同一烟雾目标的烟雾检测框； 9)根据视频流中烟雾目标动态特征对烟雾检测框进行筛选， 取出同一烟雾目标第t帧 的烟雾检测框与第t ‑30帧的烟雾检测 框进行动态烟雾检测， 第t帧的烟雾检测框的左上角 和右下角坐标为(x1,y1,x2,y2),第t‑30帧的烟雾检测框的左上角和右下角坐标为(x3,y3, x4,y4),分析烟雾目标的动态特征， 结合烟雾具有扩 散性、 上升性和烟雾浓度变 化的特点， 筛 选烟雾检测框； 10)将经过步骤9)筛选后的烟雾检测框绘制在相应视频帧上， 在烟雾检测框的左上角 区域标出检测框的预测类别 信息， 即可完成动态烟雾检测。 2.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤1) 中， 根据需要在特定场景下安装摄像头， 通过摄像头对环境中的烟雾情况进行监控， 实时采 集待检测的视频流， 收集带有烟雾目标的图像， 构建烟雾训练集， 用于后续训练烟雾 静态检 测算法对烟雾目标进行静态特 征提取的能力。 3.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤2) 中， 使用labelme标注工具对烟雾训练集中的烟雾目标进 行标注， 使用矩形框将图像中烟雾 目标框出， 标注出烟雾训练集中烟雾目标的位置信息和 类别信息， 将其转化为COCO数据集 的格式， 生成jso n标注文件。 4.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤3)权　利　要　求　书 1/3 页 2 CN 115546682 A 2中， 所述烟雾静态检测算法包括以下模块： 特征提取模块， 由结构块1、 结构块2、 结构块3、 结构块4串联构成， 其中， 结构块1由3个 卷积块1组成， 结构块2由4个卷积块2组成， 结构块3由6个卷积块3组成， 结构块4由3个卷积 块4组成； 将 输入图像resize成600 ×600大小后输入 特征提取模块， 在特征提取模块中加入 可变形卷积增加对烟雾静态特征的特征提取能力， 经过特征提取后输出34 ×34大小的烟雾 静态特征图； 候选区域提取模块， 用于将特征提取模块输出的34 ×34大小的烟雾静态特征图通过3 ×3卷积对静态特征进行融合后， 分为两条支路， 分别进行1 ×1卷积操作， 分别获得烟雾候 选区域的置信度值和坐标位置信息； 感兴趣区域池化模块， 用于将候选区域提取模块提取到的烟雾候选区域在特征提取模 块提取到的烟雾静态特征图中截取出来， 将截取出的烟雾候选区域位置对应的烟雾静态特 征图区域划分为大小相同的区块， 其中区块数为14 ×14， 然后将每个区块进行最大池化操 作， 使截取后的烟雾静态特 征图统一resize成14 ×14大小的特 征图； 分类回归模块， 用于将感兴趣区域池化模块输出的14 ×14大小的特征图通过全连接层 和softmax层进行烟火目标的分类与回归， 输出烟雾静态检测算法检测到的烟雾检测框 。 5.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤3) 中， 将收集好的烟雾训练集中的图像和对应json标注文件输入到 设计好的烟雾 静态检测算 法中进行算法训练， 训练算法提取出烟雾目标静态特征 的能力， 并根据烟雾目标静态特征 进行烟雾检测， 设置烟雾 静态检测算法的训练参数， 加载烟雾静态检测算法预训练权重， 设 置算法每组训练样本数为8， 设置算法训练迭代数为200， 将算法初始学习 率设置为0.1， 算 法每训练40个迭代数学习率衰减为原 来的十分之一， 算法训练优化器为SGD， 在算法训练结 束后自动保存训练好的模型权 重文件。 6.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤4) 中， 将训练好的模型参数载入设计好的烟雾静态检测 算法中， 得到最优的烟雾静态检测算 法， 通过摄像头对周围环境进行监控， 将采集到的待检测视频流输入到最优的烟雾静态检 测算法中， 进 行逐帧烟雾 静态检测， 根据烟雾目标的静态特征初步得到烟雾检测框， 记录下 检测到的烟雾目标的位置信息与类别 信息。 7.根据权利要求1所述的一种基于视频的动态烟雾检测方法， 其特征在于， 在步骤5) 中， 基于软边界的非极大值抑制算法的流 程如下： 第一步， 将烟雾静态检测算法检测到的烟雾检测框全部加入到烟雾检测候选列表中； 第二步， 将烟雾检测候选列表中全部烟雾检测框按置信度由高到低进行排序； 第三步， 选出烟雾检测候选列表中置信度最高的烟雾检测框， 添加到烟雾检测列表中， 计算烟雾候选列表中置信度最高的烟雾检测框与其它烟雾检测框之间IOU， 当计算到的IOU 值大于阈值0.5， 将其它烟雾检测 框的置信度进行衰减， 当计算到的IOU值小于或等于阈值 0.5时， 保持其它烟雾检测框的置信度值不变， 通过置信度更新 公式将该烟雾检测框的置信 度进行更新， 最后将置信度最高的烟雾检测框从烟雾检测 候选列表中剔除， 并重新对烟雾 检测候选列表中的烟雾检测框按置信度进行排序， 置信度更新公式如下 所示： 权　利　要　求　书 2/3 页 3 CN 115546682 A 3