(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840297.7 (22)申请日 2022.07.18 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 蔡旗　高美　冯长驹　李中振　 (74)专利代理 机构 杭州华进联浙知识产权代理 有限公司 3 3250 专利代理师 周长梅 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 热源监控方法、 装置、 电子装置和存 储介质 (57)摘要 本申请涉及一种热源监控方法、 装置、 电子 装置和存储介质， 其中， 该热源监控方法包括： 获 取针对目标区域拍摄的可见光图像和红外图像； 对该可见光图像进行特征提取处理生成可见光 特征图， 对 该红外图像进行特征增强处理生成注 意力权重图； 根据该注意力权重图对 该可见光特 征图进行加权处理得到增强特征图， 并至少根据 所述增强特征图生成指示该目标区域是否包含 热源的监控结果。 通过本申请， 解决了烟火监控 的准确性低的问题， 实现了准确、 高效的热源监 控方法。 权利要求书2页 说明书13页 附图3页 CN 115393785 A 2022.11.25 CN 115393785 A 1.一种热源监控方法， 其特 征在于， 所述方法包括： 获取针对目标区域拍摄的可 见光图像和红外图像； 对所述可见光图像进行特征提取处理生成可见光特征图， 对所述红外图像进行特征增 强处理生成注意力权 重图； 根据所述注意力 权重图对所述可见光特征图进行加权处理得到增强特征图， 并至少根 据所述增强特 征图生成指示所述目标区域是否包 含热源的监控结果。 2.根据权利要求1所述的热源监控方法， 其特征在于， 所述热源包括烟火， 所述至少根 据所述增强特 征图生成指示所述目标区域是否包 含热源的监控结果包括： 针对所述增强特征图进行烟火目标检测， 并在检测到待识别烟火目标的情况下， 获取 所述可见光图像中包含所述待识别 烟火目标的烟火目标区域； 针对所述增强特征图进 行尾 气目标检测， 并获取 所述可见光图像中的尾气目标区域； 计算得到所述烟 火目标区域和所述尾气目标区域之间的区域重合程度， 根据 所述区域 重合程度生成所述 监控结果。 3.根据权利要求2所述的热源监控方法， 其特征在于， 所述根据 所述区域重合程度生成 所述监控结果包括： 对所述可见光图像进行多类别的场景分割处理， 得到所述可见光图像中的至少两种场 景分类结果； 在检测到所述区域重合程度小于预设重合阈值的情况下， 基于所述场景分类结果生成 所述监控结果， 并发送与所述场景分类结果对应的报警等级信息至报警应用程序或终端设 备。 4.根据权利要求3所述的热源监控方法， 其特征在于， 所述场景分类结果包括天空区域 和非天空区域； 所述在检测到所述区域重合程度小于预设重合阈值的情况下， 基于所述场 景分类结果 生成所述 监控结果包括： 根据所述场景分类结果确定所述可见光图像中的所述天空区域和非天空区域； 在检测 到所述区域重合程度小于所述预设重合阈值的情况下， 检测所述待识别 烟火目标是否位于 所述天空区域或所述非 天空区域； 若所述待识别烟 火目标位于所述天空区域， 则生成指示所述待识别烟 火目标为非烟 火 目标的第一监控结果， 若所述待识别烟火目标位于所述非天空区域， 则生成指示所述待识 别烟火目标为烟火目标的第二 监控结果。 5.根据权利要求3所述的热源监控方法， 其特征在于， 所述对所述可见光图像进行多类 别的场景分割处 理， 得到所述可 见光图像中的至少两种场景分类结果包括： 利用语义分割模型对所述可见光图像进行多类别的场景分割处理并得到所述至少两 种场景分类结果； 其中， 所述语义分割模型根据包含预设分类场景 的待训练分类图像训练 生成， 所述预设 分类场景与所述场景分类结果相对应。 6.根据权利要求2所述的热源监控方法， 其特征在于， 所述根据 所述区域重合程度生成 所述监控结果包括： 在检测到所述区域重合程度 大于或等于预设重合阈值的情况下， 生成指示所述待识别 烟火目标为非烟火目标的第一 监控结果， 并获取 所述尾气目标对应的尾气特 征信息； 获取预设的异常尾气特征， 在检测到所述尾气特征信 息与所述异常尾气特征相匹配的权　利　要　求　书 1/2 页 2 CN 115393785 A 2情况下， 确定所述尾气目标排 放异常。 7.根据权利要求1所述的热源监控方法， 其特征在于， 所述对所述可见光图像进行特征 提取处理生成可 见光特征图， 对所述红外图像进行 特征增强处 理生成注意力权 重图包括： 将所述可见光图像和所述红外图像均输入至训练完备的目标检测模型， 利用所述目标 检测模型中的特征提取模块对所述可见光图像进 行特征提取处理生成所述可见光特征图， 并利用所述目标检测模型中的特征增强模块对所述红外图像进行特征增强处理以生成所 述注意力权 重图。 8.根据权利要求7所述的热源监控方法， 其特征在于， 所述获取针对目标区域拍摄的可 见光图像和红外图像之前， 所述方法还 包括： 获取包含预设热源目标的待训练可 见光图像和待训练 红外图像； 将所述待训练可见光图像输入至预设的神经网络模型中的主 网络， 并通过所述主网络 的第一卷积层对所述待训练可见光图像进行训练以得到待训练可见光特征图； 其中， 所述 特征提取模块至少包括所述第一卷积层； 将所述待训练红外图像输入至所述神经网络模型中的辅网络， 并依次通过所述辅网络 的第二卷积层、 激活函数对所述待训练红外图像进行卷积处理和归一化处理， 得到待训练 注意力权 重图； 其中， 所述特 征增强模块至少包括所述第二卷积层和所述激活函数； 通过所述主网络中的第三卷积层， 根据所述待训练可见光图像的第一像素坐标， 以及 所述待训练红外图像的第二像素坐标， 将所述待训练注意力权重图和所述待训练可见光特 征图进行矩阵相乘处 理， 并生成待训练增强特 征图； 通过所述主网络中的第 四卷积层， 对所述待训练增强特征图进行卷积特征提取处理， 输出包含所述预设热源目标的检测框结果； 根据所述预设热源目标和所述检测框结果训练 所述神经网络模型， 直至所述神经网络模型收敛并得到所述目标检测模型。 9.根据权利要求1至8任一项所述的热源监控方法， 其特征在于， 所述注意力权重 图中 第一热点区域分配到的权重值， 大于第二热点区域分配到的权重值； 其中， 所述第一热点区 域的温度高于所述第二热点区域的温度。 10.一种热源监控 装置， 其特 征在于， 所述装置包括： 获取模块和生成模块； 所述获取模块， 用于获取针对目标区域拍摄的可见光图像和 红外图像， 对所述可见光 图像进行特征提取 处理生成可见光特征图， 对所述红外图像进行特征增强处理生成注意力 权重图； 所述生成模块， 用于根据所述注意力 权重图对所述可见光特征图进行加权处理得到增 强特征图， 并至少根据所述增强特 征图生成指示所述目标区域是否包 含热源的监控结果。 11.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1至9中任一项 所述的热源监 控方法。 12.一种存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其中， 所述计算机 程序被设置为 运行时执 行权利要求1至9中任一项所述的热源监控方法。权　利　要　求　书 2/2 页 3 CN 115393785 A 3