(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210817691.9 (22)申请日 2022.07.13 (71)申请人 东北电力大 学 地址 132012 吉林省吉林市船 营区长春路 169号 申请人 国网吉林省电力有限公司吉林供电 公司 (72)发明人 赵立权　郭铁滨　张家兴　崔旭　 关潇卓　张楠　付饶　杨烁　高冶　 李达　 (74)专利代理 机构 吉林市达利专利事务所 22102 专利代理师 陈传林 (51)Int.Cl. G06T 3/40(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种电气设备红外图像超分辨 率重建方法 (57)摘要 本发明公开了一种电气设备红外图像超分 辨率重建方法， 它由对抗网络和生成 网络两部分 组成， 所述生成 网络用于生 成电气设备红外图像 超分辨率重建图像， 对抗网络用于判断高分辨率 的电气设备红外图像是生成的图像还是原始高 分辨率的图像。 本发明改进了ESRGAN的不足， 构 建了改进的批标准化模块和新的特征提取子模 块， 并利用这两个模块构建了生成对抗网络的特 征提取网络， 提高了生成网络特征提取能力， 进 而提高重建图像质量； 此外， 还将改进的批标准 化模块引入到ESRGAN的对 抗网络中， 提高对抗网 络的判别能力， 从而提高生 成网络的电力设备红 外图像重建能力， 使 得生成网络能够从低分辨率 的电气设备红外图像中重建高质量的高分辨率 电力设备红外图像 。 权利要求书3页 说明书8页 附图3页 CN 115082318 A 2022.09.20 CN 115082318 A 1.一种电气设备红外图像超分辨 率重建方法， 其特 征在于， 具体步骤如下： 步骤1， 构建数据集： ①利用高分辨 率红外成像仪采集具有高分辨 率的电气设备红外图像； ②利用包含各向同性高斯模糊、 各向异性高斯模糊、 降采样、 3D高斯噪声、 成像仪噪声 和JPEG噪声的退化 函数， 拟合真实电气设备红外图像的退化过程； ③对采集到的高分辨率红外成像图像进行退化处理， 得到对应的低分辨率电气设备红 外图像； 得到的退化后的低分辨率电气设备红外图像和与之对应的高分辨率的电气设备红 外图像组成图像对， 若干个图像对构成数据集， 数据集分为两部分， 一部分作为训练数据 集， 另一部分作为测试 数据集； 步骤2， 构建改进的批标准 化模块： 在常规的批标准 化模块的基础上， 设计特 征像素标准方差调节模块； 步骤3， 构建最终特 征提取子模块： 构建最终特 征提取子模块， 用于提取电气设备红外图像特 征； 步骤4， 构建电气设备红外图像超分辨 率重建网络中的生成网络： 利用步骤2已构建的改进的批标准化模块和步骤3已构建的最终特征提取子模块， 在电 气设备红外图像超分辨率重 建网络的基础上， 构建改进的电气设备红外图像超分辨率重建 网络中的生成网络； 步骤5， 构建电气设备红外图像超分辨 率重建网络中的对抗网络： 将步骤2已构建的改进的批标准化模块引入到电气设备红外图像超分辨率重建网络的 对抗网络中， 构建改进的电气设备红外图像超分辨 率重建网络中的对抗网络； 步骤6： 训练电气设备红外图像超分辨 率重建网络： 采用步骤1构建的训练数据集对步骤4构建的 电气设备红外 图像超分辨率重建网络中 的生成网络和步骤5构建的电气设备红外图像超分辨 率重建网络中的对抗网络进行训练； 步骤7： 网络模型测试和评估： 将步骤1中构建的测试数据集中的低分辨率电气设备红外 图像输入到步骤6中已训练 好的生成网络中， 输出相应的重建后的电气设备红外超分辨率图像； 计算重建的电气设备 红外超分辨率图像的峰值信噪比， 评估自然图像质量； 如果峰值信噪比和自然图像质量评 估满足实际应用需求， 则执 行步骤9， 否则执 行步骤8； 步骤8： 模型参数调整： 对由步骤4和步骤5构建的电气设备红外图像超分辨率重建网络的模型参数进行调整， 并返回步骤6， 重新进行训练； 步骤9： 模型应用： 将步骤7得到的满足实 际应用要求的生成网络， 应用于电气设备红外 图像超分辨率重 建， 从采集到的低分辨 率电气设备红外图像中重建高分辨 率电气设备红外图像。 2.根据权利要求1所述的一种电气设备红外图像超分辨率重建方法， 其特征在于： 所述 步骤2中构建改进的批标准 化模块表示 为： 所述改进的批标准化模块由两个分支组成， 第一个分支为常规批标准化模块， 第二个 分支依次由标准方差函数， 对数函数， 线性函数和指数函数 组成； 第一个分支需要将模块的 输入进行批标准化预处理， 然后作为常规批标准化模块的输出， 第二个分支需要将模块的权　利　要　求　书 1/3 页 2 CN 115082318 A 2输入依次进 行标准方差函数， 对数函数， 线性函数和指数函数的处理之后输出， 第一个分支 的输出与第二个分支的输出进行相乘， 得到改进的批标准 化模块的最终输出。 3.根据权利要求1所述的一种电气设备红外图像超分辨率重建方法， 其特征在于： 所述 步骤3中构建最终特 征提取子模块表示 为： 最终特征提取子模块由前期特 征提取子模块和步骤2的改进的批标准 化模块组成； 所述前期特征提取子模块由两个分支组成， 第一个分支依次由1 ×1的卷积， 一个ReLU6 函数， 一个3 ×3的卷积， 一个ReLU6函数和一个1 ×1的卷积组成； 第二个分支依次由1 ×1的 卷积， 一个ReLU6函数和一个残差网络组成； 所述残差网络由一个3 ×3的卷积和跳跃连接组成， 3 ×3的卷积的输出和跳跃连接的输 出在通道维度上进行拼接， 使得第二个分支的输入特征图和输出特征图的通道数保持不 变； 将第一个分支的输出和第二分支的输出进行特征图叠加得到前期特征提取子模块的输 出特征； 将前期特征提取子模块作为网络模块纳入步骤2的改进的批标准化模块中形成最终特 征提取子模块。 4.根据权利要求1所述的一种电气设备红外图像超分辨率重建方法， 其特征在于： 所述 步骤4中构建电气设备红外图像超分辨 率重建网络中的生成网络表示 为： 对若干个模块定义如下： IBN模块： 步骤2构建的改进的批标准 化模块； GM模块： 步骤3构建的最终特 征提取子模块； IRDB模块： 残差密集模块； IRRDB模块： 具有残差结构的特 征提取模块； GM_DB模块： 基于最终特 征提取子模块的残差密集模块； GM_RDB模块： 基于最终特 征提取子模块的残差密集模块的特 征提取模块； 所述生成网络依次由一个3 ×3卷积模块、 一个多级残差结构的特征提取网络、 一个上 采样模块和两个串联的3 ×3卷积模块组成； 所述多级残差结构的特征提取网络由第一特征提取子网络、 第二特征提取子网络、 1个 GM模块和两个不同的跳跃 连接组成， 第一特 征提取子网络和第二特 征提取子网络串联； 所述第一特 征提取子网络由8个IR RDB模块组成； 每个IRRDB模块由3个结构相同的第一残差模块、 1个IBN模块和一个特 征系数组成； 组成IRRDB模块的每个第一残差模块由一个IRDB模块、 1个特征系数和1个跳跃连接组 成； 每个IRDB模块由5个3 ×3卷积模块、 4个LReLU函数、 1个特征系数、 1个跳跃连接和IBN模 块组成； 所述第二特 征提取子网络由8个GM_DB模块和8个GM_RDB模块组成； 每个GM_DB模块 由4个GM模块、 4个LReLU函数、 一个3 ×3卷积模块、 1个特征系数、 1个跳 跃连接和IBN模块组成； 每个GM_RDB模块由3个结构相同的第二残差模块、 1个IBN模块、 1个特征系数和1个跳跃 连接组成； 组成GM_RDB的每个第二残差模块由1个GM_DB模块、 1个特征系数和1个跳跃连接组成；权　利　要　求　书 2/3 页 3 CN 115082318 A 3