(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211014354.2 (22)申请日 2022.08.23 (71)申请人 杭州电子科技大 学上虞科学与工程 研究院有限公司 地址 312399 浙江省绍兴 市上虞区曹娥街 道江西路2288号浙大网新科技园A2楼 810室 (72)发明人 颜成钢　陈旺　孙垚棋　张继勇　 李宗鹏　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 一种基于深度学习模型的烟雾光流识别方 法 (57)摘要 本发明公开了一种基于深度学习模型的烟 雾光流识别方法， 属于图像处理领域。 本发明针 对需要识别的目标区域的监控图像， 首先利用数 字图像处理技术进行运动区域检测， 在运动检测 结果的基础上结合2个颜色的空间模型， 分割得 到火焰疑似区域， 从而在后面的计算中只需要关 注被分割出的区域， 避免了大量无用的计算。 本 发明可进一步通过深度学习模型来进行烟雾光 流估计， 减少了检测识别的时间， 提高了实时的 检测能力。 权利要求书2页 说明书9页 附图1页 CN 115439803 A 2022.12.06 CN 115439803 A 1.一种基于深度学习模型的烟雾光 流识别方法， 其特 征在于， 包括： S1、 通过监控摄像头获取目标区域内的监控视频， 在基于帧间差分法预先建立目标区 域的背景图像基础上， 针对每一帧监控图像利用背景减法提取图像帧中可能为烟雾区域的 前景运动目标； S2、 针对每一帧监控图像中提取的所有前景运动目标， 分别利用烟雾RGB空间颜色模型 和烟雾HSI空间亮度变化模型进 行过滤， 去除不属于烟雾区域的前景运动目标， 以过滤后保 留的所有前 景运动目标作为 监控图像帧中的烟雾疑似区域掩膜； S3、 将相邻的监控图像帧经过对应的烟雾疑似区域掩膜处理后， 两两构建为去除背景 区域的训练样本， 每个训练样本均通过光流法估计光流图像并作为标签， 从而由所有训练 样本组成训练数据集； S4、 利用训练数据集训练深度学习模型， 从而得到能够预测一组相邻监控图像帧中烟 雾区域光流图像的烟雾光 流预测模型； 所述深度 学习模型包含收缩 网络部分和扩展 网络部分， 收缩 网络部分的输出作为扩展 网络部分的输入； 所述收缩网络部分的输入为两张相邻监控图像帧沿通道方向拼接而成的拼接图像， 收 缩网络部分由第一卷积层、 第二卷积层、 第三卷积层、 第四卷积层、 第五卷积层、 第六卷积 层、 第七卷积层、 第八卷积层和第九卷积层级联而成， 其中9层卷积层的输出分别为特征图 f1、 特征图f2、 特征图f3、 特征图f4、 特征图f5、 特征图f6、 特征图f7、 特征图f8和特征图f9； 所述扩展网络部分由第一反卷积层、 第二反卷积层、 第 三反卷积层和第四反卷积层； 其 中第一反卷积层的输入为特征图f9， 输出为特征图fu1； 第二反卷积层的输入为特征图fu1与 特征图f8沿通道方向拼接得到的拼接特征图f1*， 输出为 特征图fu2； 基于拼接特征图f1*预测 得到光流图像F1， 光流图像F1上采样至与特征图f6相同尺寸后得到光流图像Fu1； 第三反卷积 层的输入为特征图fu2、 特征图f6和光流图像Fu1沿通道方向拼接得到的拼接特征图f2*， 输出 为特征图fu3； 基于拼接特征图f2*预测得到光流图像F2， 光流图像F2上采样至与特征图f4相 同尺寸后得到光流图像Fu2； 第四反卷积层的输入为特征图fu3、 特征图f4和光流图像Fu2沿通 道方向拼接得到的拼接特征图f3*， 输出为特征图fu4； 基于拼接特征图f3*预测得到光流图 像F3， 光流图像F3上采样至与特征图f2相同尺寸后得到光流图像Fu3； 将特征图fu4、 特征图f2 和光流图像Fu3沿通道方向拼接得到 拼接特征图f4*， 基于特征图f4*预测得到 光流图像F4， 将 光流图像F4上采样至与原始的监控图像帧相同尺寸， 从而得到作为模型输出的最终光流图 像； S5、 通过监控摄像头实时获取目标区域的监控图像帧， 按照与训练样本相同的方式处 理后成对输入所述烟雾光 流预测模型中， 预测得到最终光 流图像。 2.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 利用所述 烟雾RGB空间颜色模型进行 过滤时， 烟雾区域需同时满足三个条件： 第一个条件为： 烟雾区域的RGB图像中， R、 G、 B值相互之间的差值 不超过阈值； 第二个条件为： 烟雾区域的灰度图像中， 灰度值的范围为80～ 220； 第三个条件为： 烟雾区域的RGB图像中， B值>G值>R值。 3.如权利要求2所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 所述阈值 为5～10。权　利　要　求　书 1/2 页 2 CN 115439803 A 24.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 利用所述 烟雾HSI空间亮度变化模型进行 过滤时， 烟雾区域需满足以下 条件： 根据烟雾区域的HSI空间， 提取烟雾区域中亮度值在80～ 150范围内的像素形成第一空 间区域， 提取烟雾区域中亮度值在150～220范围内的像素形成第二空间区域， 第二空间的 外包矩形框应当位于第一空间的外包矩形框内。 5.如权利要求4所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 判断第 二 空间的外包矩形框是否位于第一空间的外包矩形框内时， 通过两个外包矩形框的左上角点 和右下角点 坐标的空间位置关系进行判断。 6.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 所述光流 法为LK光流法。 7.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 所述背景 图像需要定时利用最 新的监控视频 段进行动态更新。 8.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 所述烟雾 疑似区域掩膜中， 每一个前 景运动目标都以外包矩形框形式保存。 9.如权利要求1所述的基于深度 学习模型的烟雾光流识别方法， 其特征在于， 所述帧间 差分法中， 利用相隔K帧的两帧灰度图像进 行差分运算， 将差 分图像中灰度值小于灰度阈值 的像素点视为背景像素点， 其中K 取2,3或4。 10.如权利要求1所述的基于深度学习模型的烟雾光流识别方法， 其特征在于， 所述灰 度阈值采用自适应动态阈值。权　利　要　求　书 2/2 页 3 CN 115439803 A 3