(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211359400.2 (22)申请日 2022.11.02 (71)申请人 国网浙江省电力有限公司金华供电 公司 地址 321000 浙江省金华市 婺城区双溪西 路420号 (72)发明人 季克勤　侯健生　王鹏　郑琳　 郑庆　邱璐　蔡建军　李亮　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 王丰毅 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/25(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多尺度注意机制的红外与可见光 图像融合方法 (57)摘要 本发明提出了一种基于多尺度注意机制的 红外与可见光图像融合方法； 通过多尺度注意机 制集成到生成对抗网络的生成器和判别器中来 融合红外图像和可见光图像， 多尺度注意机制不 仅可以捕获全面的空间信息以帮助生成器关注 可见光图像的背景细节信息和红外图像的前景 目标信息， 而且还限制判别器更多的关注区域而 不是整个输入图像； 方法中的生成器由两个分别 捕获红外可见光注意力图的多尺度注意网络和 一个图像融合网络组成， 采用两个判别器强制融 合结果分别保留红外图像和可见光图像中更多 的注意信息， 保留更丰富的场景信息， 具有更强 的对比度， 融合图像的视 觉效果更好。 权利要求书4页 说明书8页 附图3页 CN 115423734 A 2022.12.02 CN 115423734 A 1.一种基于多尺度注意机制的红外与可见光图像融合方法， 其特征在于， 包括如下步 骤： 步骤1： 从设定的数据集中获取红外与可见光的源图像； 获得的红外源图像与可见光源 图像相互对应； 步骤2： 对获取的红外源图像以及可 见光源图像进行 预处理， 获得训练集t rainDatas； 步骤3： 建立基于多尺度注意力机制和生成对抗网络的红外与可见光图像融合模型框 架； 所述红外与可见光图像融合模型框架包括生 成器 、 可见光判别器 以及红外判别器 ； 其中生成器 ， 用于将红外图像和可 见光图像进行融合， 得到融合图像； 可见光判别器 ， 用于获取融合图像和可 见光图像的Was serstein距离； 红外判别器 ， 用于获取融合图像和红外图像的Was serstein距离； 步骤4： 根据设置的参数， 获得损失函数； 通过设置损失函数保证融合后的图像尽量保 留更多的源图像的有效信息； 步骤5： 根据trainDatas训练集和损失函数对红外与可见光图像融合模型框架进行训 练， 获得红外可 见光融合模型； 步骤6： 将待融合的红外图像和可见光图像输入步骤5中获得的红外可见光模型， 获得 融合图像， 结束步骤。 2.根据权利要求1所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述步骤2中的红外源图像和可见光源图像的预 处理过程包括， 首先选择设定数 量的红外源图像与可见光源图像对， 然后将源图像进 行裁切， 裁切成设定大小的源图像块； 在源图像裁切过程中， 相对应的红外源图像和可 见光源图像的裁切位置一 致。 3.根据权利要求1所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述 步骤3中的生成器中包括多尺度注意模块以及融合模块。 4.根据权利要求3所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述多尺度注意模块通过其内设置的多尺度注意网络结构提取图像的多尺度特 征， 然后计算多尺度特征对应的权重数组， 根据权重保留图像中的重要图像特征， 组成注 意 力图像； 该处的权重数组为多尺度网络结构在模型训练过程中获取 的； 多尺度注意网络结 构包括4个3*3的卷积核以及批量归一化层核PRelu激活函数； 多尺度注意网络结构的输入 通道数量设置为1个， 输出通道的数量设置为32个。 5.根据权利要求4所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述多尺度注意网络结构被训练学习第s个集合尺度的第k个特征 的权重 ， 公式如下：权　利　要　求　书 1/4 页 2 CN 115423734 A 2其中， 表示sigmoid函数； 表示大小为 的全连接层； 表示执行 全局平均池操作的结果； k为数值， 表示第k个特征； 根据对 所有特征的权重计算 获得多尺度 注意模型中的权 重数组。 6.根据权利要求3所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述融合模块用于对多尺度注意模块 获取的包括重要的图像特征的注意力图像 与对应的红外源图像块或者可见光源图像块进行融合； 融合模块中设置有融合网络结构， 融合网络结构包括 4个3*3的卷积核以及批量归一 化层PRelu激活函数。 7.根据权利要求2所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述可见光判别器 以及红外判别器 的内部结构相同， 均采用7层的卷积神 经网络， 在该卷积神经网络中， 前6层的卷积层设置为3*3的卷积核， 步长设置为1和2交替； 最后一层设置为全连接层， 在全连接层中将前6层卷积后获得的特征进 行整合， 计算 获得输 入图像是源图像块的概 率， 该概率数值表示源图像块与融合图像之间的Was serstein距离。 8.根据权利要求1所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述步骤4中的损失函数包括生成器损失函数 以及判别器共同损失函数 ； 其中生成器损失函数 包括内容损失 、 对抗损失 以及注意力损失 。 9.根据权利要求8所述的一种基于多尺度注意机制的红外与可见光图像融合方法， 其 特征在于， 所述 生成器损失函数 的公式如下 所示： 其中， 以及 均为设定的权 重数值； 所述内容损失 通过Frobenius范数来约束融合图像的像素强度信息， 通过TV范数 计算融合图像的梯度信息； 内容损失 的公式如下 所示： 其中， 表示所有元素之和； 表示下采样算子； 表示Frobenius范数； 表示TV范数； 表示控制权衡， 设置为1.2； 表示生成器生成的融合图像 的tensor值； 表示源图像的tensor值；权　利　要　求　书 2/4 页 3 CN 115423734 A 3