(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210901046.5 (22)申请日 2022.07.28 (71)申请人 深圳大学 地址 518000 广东省深圳市南 山区粤海街 道南海大道3 688号 (72)发明人 朱映映　赵骏骐　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李珂 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06T 7/70(2017.01) G06T 5/50(2006.01) G06T 7/90(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的烟雾检测方法、 装置、 设备 及存储介质 (57)摘要 本申请涉及一种基于深度学习的烟雾检测 方法、 装置、 设备及存储介质， 其中方法包括获取 烟雾图像和室内图像； 对烟雾图像进行图像增强 处理和色彩迁移处理， 得到色彩迁移烟雾图像； 将色彩迁移烟雾图像叠加到室内图像中， 得到初 始图像， 并对初始图像进行筛选处理和检测框更 新处理， 得到目标图像； 通过对目标图像进行特 征提取和层校准处理， 得到烟雾校准特征图像； 依次对烟雾校准特征图像进行分割处理、 检测框 预测处理、 检测框分类处理以及图像分类处理， 得到烟雾图像集； 对烟雾图像集进行筛选处理， 得到目标烟雾图像， 并输出烟雾检测结果。 本发 明实现烟雾数据集的收集和提高烟雾的检测精 度。 权利要求书3页 说明书13页 附图6页 CN 115147586 A 2022.10.04 CN 115147586 A 1.一种基于深度学习的烟雾检测方法， 其特 征在于， 包括： 获取烟雾图像和室内图像， 其中， 所述烟雾图像包括烟雾 透明度； 确定所述烟雾图像在所述室内 图像的大小和位置关系， 并基于所述烟雾图像在所述室 内图像的大小和位置关系， 对所述烟雾图像进行图像增强处 理， 得到基础 烟雾图像； 获取所述基础烟雾 图像对应位置上室内场景的光照图像， 并基于所述光照图像， 对所 述基础烟雾图像进行色彩迁移处 理， 得到色彩迁移烟雾图像； 基于所述烟雾透明度， 将所述色彩迁移烟雾 图像叠加到所述室内图像中， 得到初始图 像， 并对所述初始图像进行筛 选处理和检测框更新处 理， 得到目标图像； 通过多层网络对所述目标图像进行特征提取， 得到烟雾特征图像， 并对所述烟雾特征 图像进行层校准处 理， 得到烟雾校准特 征图像； 按照逐级特征学习的方式， 依次对所述烟雾校准特征图像进行分割处理、 检测框预测 处理、 检测框分类处理以及图像分类处理， 得到烟雾图像集， 其中， 所述烟雾图像集包括烟 雾特征的置信度和交并参数； 基于所述烟雾特征的置信度和 交并参数， 对所述烟雾 图像集进行筛选处理， 得到目标 烟雾图像， 并基于所述目标烟雾图像， 输出烟雾检测结果。 2.根据权利要求1所述的基于深度学习的烟雾检测方法， 其特征在于， 所述获取烟雾图 像和室内图像， 包括： 获取烟雾视频， 并将所述烟雾视频返回开发端， 以使得开发端根据预设的帧率对所述 烟雾视频进行 添加检测框标签， 得到所述烟雾检测框； 通过预设的烟雾模拟软件产生所述烟雾数据， 并通过预设的角度和预设的烟雾流量， 获取所述烟雾数据对应的目标烟雾 视频； 根据所述烟雾检测框和所述目标烟雾 视频， 生成所述烟雾图像和所述室内图像。 3.根据权利要求1所述的基于深度学习的烟雾检测方法， 其特征在于， 所述确定所述烟 雾图像在所述室内图像的大小和位置关系， 并基于所述烟雾图像在所述室内图像的大小和 位置关系， 对所述烟雾图像进行图像增强处 理， 得到基础 烟雾图像， 包括： 通过预设参数与所述室内图像的长和宽进行相乘处理， 得到相乘结果， 基于所述相乘 结果， 改变所述烟雾图像的尺寸， 得到改变后的烟雾图像尺寸； 根据所述改变后的烟雾图像尺寸与 所述室内 图像进行对比， 以确认所述烟雾图像在所 述室内图像的大小， 并在所述室内图像中叠加所述烟雾图像的位置， 以确认所述烟雾图像 在所述室内图像的位置； 基于所述烟雾图像在所述室内 图像的大小和位置关系， 将预设的烟雾图像尺寸作为高 斯函数滤波的半径； 根据所述高斯函数滤波的半径， 对每个颜色通道的所述烟雾 图像进行滤波处理， 得到 滤波结果， 其中， 所述滤波结果包括 不同颜色通道和不同滤波尺度的计算结果； 将同一颜色通道的不同滤波尺度的计算结果进行加权处 理， 得到所述基础 烟雾图像。 4.根据权利要求1所述的基于深度学习的烟雾检测方法， 其特征在于， 所述获取所述基 础烟雾图像对应位置上室内场景 的光照图像， 并基于所述光照图像， 对所述基础烟雾图像 进行色彩迁移处 理， 得到色彩迁移烟雾图像， 包括： 获取所述基础 烟雾图像对应位置上室内场景的光照图像， 作为 参考图像；权　利　要　求　书 1/3 页 2 CN 115147586 A 2将所述参考图像与 所述基础烟雾图像分别进行颜色空间转换， 并统计所述参考图像与 所述基础 烟雾图像所有颜色通道的均值和标准差； 将所述基础烟雾图像中的每一像素值减去所述基础烟雾图像的均值， 得到第 一处理图 像； 计算所述参考图像与所述基础烟雾 图像标准差的比值， 得到标准差比值， 并将所述第 一处理图像与所述标准差比值进行相乘处 理， 得到第二处 理图像； 将所述第二处 理图像与所述 参考图像的均值相加处 理， 得到所述色彩迁移烟雾图像。 5.根据权利要求1所述的基于深度学习的烟雾检测方法， 其特征在于， 所述基于所述烟 雾透明度， 将所述色彩迁移烟雾图像叠加到所述室内图像中， 得到初始图像， 并对所述初始 图像进行筛 选处理和检测框更新处 理， 得到目标图像， 包括： 基于所述烟雾 透明度， 计算所述室内图像和所述色彩迁移烟雾图像的叠加权 重； 根据所述叠加权重， 将所述色彩迁移烟雾 图像叠加到所述室内图像中， 得到所述初始 图像， 其中， 所述初始图像中包括检测框； 计算所述初始图像中的透明度， 并基于所述透明度与第一预设阈值的对比结果， 对所 述初始图像进行筛 选处理， 得到筛选结果； 计算筛选结果中检测框的平均透 明度， 并基于所述平均透 明度与第 二预设阈值的对比 结果， 对所述检测框更新处 理， 得到目标图像。 6.根据权利要求1所述的基于深度学习的烟雾检测方法， 其特征在于， 所述通过多层网 络对所述 目标图像进行特征提取， 得到烟雾特征图像， 并对所述烟雾特征图像进行层校准 处理， 得到烟雾校准特 征图像， 包括： 通过所述多层网络 中的的每层网络依次对所述目标图像进行下采样和卷积处理， 以对 所述目标图像进行 特征提取， 得到所述烟雾特 征图像； 按照尺度 大小的差异， 将所述烟雾特征图像分为大尺寸烟雾特征图像和小尺寸烟雾特 征图像； 对所述大尺寸烟雾特征图像进行通道分割和卷积处理， 得到第一特征， 并对所述小尺 寸烟雾特征图像进行通道压缩处理和上采样处理， 得到第二特征， 且将所述第一特征与所 述第二特 征进行特征相加， 得到目标 特征； 通过激活函数对所述目标特征进行激活处理， 得到激活特征， 并将所述激活特征与所 述第一特 征进行点乘处 理和拼接处 理， 得到所述烟雾校准特 征图像。 7.根据权利要求1至6任一项所述的基于深度学习的烟雾检测方法， 其特征在于， 所述 按照逐级 特征学习的方式， 依次对所述烟雾校准特征图像进 行分割处理、 检测框预测处理、 检测框分类处 理以及图像分类处 理， 得到烟雾图像集， 包括： 识别所述烟雾校准特征图像中的烟雾特征， 并通过所述多层网络对所述烟雾特征从所 述烟雾校准特征图像中进行分割处理， 得到初始分割 结果， 且对所述初始分割结果进行激 活处理和交叉熵损失计算处 理， 得到目标分割结果； 将所述多层网络中最后一层网络特征与检测框特征进行拼接， 得到目标检测框特征， 并基于所述目标检测框特征， 对所述烟雾校准特征图像中的检测框进 行检测框预测处理和 预测框损失计算处理， 得到检测框预测结果， 其中， 所述检测框预测结果包括预测框置信 度；权　利　要　求　书 2/3 页 3 CN 115147586 A 3