(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210860978.X (22)申请日 2022.07.22 (65)同一申请的已公布的文献号 申请公布号 CN 115082319 A (43)申请公布日 2022.09.20 (73)专利权人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 柳阳　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 王瑶 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/40(2017.01)G06V 10/74(2022.01) G06V 10/75(2022.01) (56)对比文件 CN 114549319 A,202 2.05.27 CN 114359044 A,2022.04.15 CN 114418850 A,2022.04.29 CN 114529455 A,2022.05.24 CN 114549309 A,202 2.05.27 CN 104992407 A,2015.10.21 CN 107464217 A,2017.12.12 CN 113674146 A,2021.1 1.19 付利华等.融合参考图像的人脸超分辨 率重 构方法. 《模式识别与人工智能》 .2020,(第04 期), 审查员 颜佳 (54)发明名称 一种超分辨率图像的构建方法、 计算机设备 及存储介质 (57)摘要 本发明提供一种超分辨率图像的构建方法、 计算机设备及存储介质， 包括； 获取待处理的低 分辨率原始图像； 分别对低分辨率原始图像和超 分辨率参考图像进行特征提取， 得到与低分辨率 原始图像对应的低分辨率原始特征图像以及与 超分辨率参考图像对应的超分辨率参考特征图 像； 将低分辨率原始特征图像和超分辨率参考特 征图像进行特征匹配， 得到替换特征图像； 根据 替换特征图像， 对低分辨率原始图像进行纹理迁 移， 得到超分辨率目标图像。 采用特征匹配， 对灰 度的变化以及目标的变形、 旋转和遮挡等不敏 感， 强调图像的结构信息和纹理信息， 能够在低 分辨率原始 图像和超分辨率参考图像的相似度 不高时， 其超分辨率的性能仍然能够保持得比较 好。 权利要求书3页 说明书14页 附图6页 CN 115082319 B 2022.11.25 CN 115082319 B 1.一种超分辨 率图像的构建方法， 其特 征在于， 包括； 获取待处 理的低分辨 率原始图像； 按照预设尺寸倍数， 分别对所述低分辨率原始图像和预设的超分辨率参考图像进行尺 寸变换， 得到不同尺寸的低分辨 率原始图像和超分辨 率参考图像； 分别对不同尺寸的低分辨率原始图像和不同尺寸的超分辨率参考图像进行特征提取， 得到与不同尺寸的低分辨率原始图像各自对应的低分辨率原始特征图像以及与不同尺寸 的超分辨 率参考图像各自对应的超分辨 率参考特征图像； 分别将同一尺寸的低分辨率原始特征图像和超分辨率参考特征图像进行特征匹配， 得 到不同尺寸的替换 特征图像； 将尺寸最小的低分辨率原始图像确定为目标低分辨率原始图像， 确定与所述目标低分 辨率原始图像尺寸相同的替换特征图像， 将该替换特征图像与所述目标低分辨率原始图像 进行拼接， 得到拼接图像； 提取所述拼接图像中的纹理信 息， 将所述纹理信 息与所述目标低分辨率原始图像进行 合并， 得到初始合并图像； 将所述初始合并图像的尺寸调整至与该替换特征图像的尺寸层级相邻的下一层级的 所述替换特征图像的尺寸， 得到目标合并图像； 各所述替换特征图像的所述尺寸层级根据 各所述替换特征图像的尺寸的大小得到； 将所述目标合并图像确定为新的目标低分辨率原始图像， 确定与所述新的目标低分辨 率原始图像尺寸相同的替换特征图像， 将该替换特征图像与所述新的目标低分辨率原始图 像进行拼接， 如此重复， 直至得到最后一个所述初始 合并图像， 将最后一个所述初始合并图 像确定为超分辨 率目标图像。 2.根据权利要求1所述的超分辨率图像的构建方法， 其特征在于， 将所述低分辨率原始 特征图像和所述超分辨 率参考特征图像进行 特征匹配， 得到替换 特征图像， 包括： 对所述超分辨率参考图像进行模糊化处理， 得到与所述超分辨率参考图像对应的低分 辨率参考图像； 对所述低分辨率参考图像进行特征提取， 得到与 所述低分辨率参考图像对应的低分辨 率参考特征图像； 确定所述低分辨 率参考特征图像和所述低分辨 率原始特征图像的相似度特 征； 基于所述相似度特征， 根据所述超分辨率参考特征图像， 对所述低分辨率原始特征图 像进行特征替换， 得到所述 替换特征图像。 3.根据权利要求2所述的超分辨率图像的构建方法， 其特征在于， 所述确定所述低分辨 率参考特征图像和所述低分辨 率原始特征图像的相似度特 征， 包括： 分别对所述低分辨率原始特征图像和所述低分辨率参考特征图像进行划块， 得到与 所 述低分辨率原始特征图像对应的多个低分辨率原始特征块以及与所述低分辨率参考特征 图像对应的多个低分辨率参考特征块； 所述低分辨率原始特征块和所述低分辨率参考特征 块的数量相同， 任一个所述低分辨率原始特征块和任一个所述低分辨率参考特征块的尺寸 相同； 针对每个所述低分辨率原始特征块， 确定该低分辨率原始特征块分别与每个所述低分 辨率参考特征块的相似度集 合；权　利　要　求　书 1/3 页 2 CN 115082319 B 2根据每个所述低分辨 率原始特征块的相似度集 合， 得到所述相似度特 征。 4.根据权利要求3所述的超分辨率图像的构建方法， 其特征在于， 所述基于所述相似度 特征， 根据所述超分辨率参考特征图像， 对所述低分辨率原始特征图像进 行特征替换， 得到 所述替换特征图像， 包括： 根据对所述低分辨率参考特征图像进行划块， 对所述超分辨率参考特征图像进行划 块， 得到与所述超分辨率参考特征图像对应的多个超分辨率参考特征块； 一个所述低分辨 率参考特征块对应一个所述超分辨 率参考特征块； 针对所述低分辨率原始特征图像中的每个所述低分辨率原始特征块， 基于与 该低分辨 率原始特征块对应的相似度集合， 从该相似度集合中对应的多个低分辨率参考特征块确定 得到目标低分辨 率参考特征块； 根据与所述目标低分辨率参考特征块对应的超分辨率参考特征块， 对该低分辨率原始 特征块进行 特征替换； 直至所述低分辨率原始特征图像中的所有所述低分辨率原始特征块完成特征替换， 得 到所述替换特征图像。 5.根据权利要求1所述的超分辨率图像的构建方法， 其特征在于， 所述方法应用于目标 图像处理模型， 所述目标图像处理模型包括目标特征处理子网络 以及目标纹理迁移子网 络， 所述目标特征 处理子网络以及所述目标 纹理迁移子网络 分别通过3*3卷积核和1*1卷积 核组成的异构卷积过 滤器进行运 算； 所述分别对所述低分辨 率原始图像和所述超分辨 率参考图像进行 特征提取， 包括： 通过所述目标特征处理子网络， 分别对所述低分辨率原始图像和所述超分辨率参考图 像进行特征提取； 所述将所述低分辨率原始特征图像和所述超分辨率参考特征图像进行特征匹配， 包 括： 通过所述目标特征处理子网络， 将所述低分辨率原始特征图像和所述超分辨率参考特 征图像进行 特征匹配； 所述根据所述 替换特征图像， 对所述低分辨 率原始图像进行纹 理迁移， 包括： 通过所述目标纹理迁移子网络， 根据所述替换特征图像， 对所述低分辨率原始图像进 行纹理迁移。 6.根据权利要求5所述的超分辨率图像的构建方法， 其特征在于， 在所述分别对所述低 分辨率原始图像和所述超分辨 率参考图像进行 特征提取的步骤之前， 还 包括： 获取训练样本集； 所述训练样本集包括样本低分辨率图像、 样本超分辨率参考图像、 样 本替换特征图像以及样本超分辨 率目标图像； 将所述训练样本集输入到初始图像处理模型中的初始特征处理子网络中， 得到第 一替 换特征图像， 确定所述第一替换特征图像和所述样本替换特征图像的第一损失值， 根据所 述第一损失值对所述初始特 征处理子网络进行参数调整， 得到中间特 征处理子网络； 将所述训练样本集输入到所述中间特征处理子网络中， 得到第二替换特征图像， 将所 述第二替换特征图像输入到所述初始图像处理模型中的初始纹理迁移子网络中， 得到第一 超分辨率目标图像， 确定所述第一超分辨率目标图像和所述样本超分辨率目标图像的第二 损失值， 根据所述第二损失值对所述初始纹理迁移子网络进行参数调整， 得到中间纹理迁权　利　要　求　书 2/3 页 3 CN 115082319 B 3