(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201824.6 (22)申请日 2022.09.29 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 颜成钢　汤乐　高宇涵　孙垚棋　 朱尊杰　陈楚翘　王鸿奎　殷海兵　 胡冀　张继勇　李宗鹏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于图片切割分类的视频超分辨率方 法 (57)摘要 本发明公开了一种基于图片切割分类的视 频超分辨率方法， 首先制作分类器模块的数据 集， 然后训练分类器模块； 再制作总模型数据集， 构建总体模 型结构， 并通过总模 型数据集对总体 模型进行训练； 最后通过训练好的总体模型完成 视频超分辨率重建。 本发明使用了一个 分类器模 块与其他几个 现有的超分辨率 成果结合， 实现了 在保证处理质量的同时， 大大减少了处理的计算 量和存储量。 权利要求书2页 说明书4页 附图4页 CN 115409714 A 2022.11.29 CN 115409714 A 1.一种基于图片切割分类的视频超分辨 率方法， 其特 征在于， 具体实现步骤如下： 步骤1： 制作分类 器模块的数据集； 步骤2： 通过制作的分类 器模块的数据集训练分类 器模块； 步骤3： 制作总模型 数据集； 步骤4： 构建总体模型 结构， 并通过总模型 数据集对总体模型进行训练； 步骤5： 通过训练好的总体模型完成视频超分辨 率重建。 2.根据权利要求1所述的一种基于图片切割分类的视频超分辨率方法， 其特征在于， 步 骤1具体方法如下； 选择已有的公开超分辨数据集进行分割切块， LR图像切成h ×w像素的小图像块记为 LRsub， GT图像切成4h ×4w像素的小图像块记为GTsub； 然后选择两种性能差异较大的的已有 超分辨率算法进行处理得到不同结果， 优秀性 能算法得到的结果记为 相对略差性 能的算法得到的结果记为 计算 和 的性能差值ΔP， 差值ΔP作为该图像块的复杂度， 并将结果保存 成K级形式： LevelGT＝F(ΔP) P为峰值信噪比计算公式； F为分级函数， 其处理过程是将所有的ΔP根据大小排序， 平 均分成K段， 每段作为一个级别L evelGT， 总共包含K级， ΔP最小的段作为1级， ΔP最大的段作 为K级； 其中， 1级代 表低复杂度， K级代 表高复杂度； 处理完成后， 将切割后的LRsub和对应的LevelGT保存作为分类 器数据集。 3.根据权利要求2所述的一种基于图片切割分类的视频超分辨率方法， 其特征在于， 步 骤2具体方法如下； 分类器模块的输入是步骤1所获得的数据集的LRsub； LRsub首先经过一个初始卷积层和一个激活函数， 将原始 RGB图像数据进行特征化； 之后 经过5个卷积层和对应的激活函数进行特征提取； 随后经 由1个平均池化层和1个线性层进 行最终处 理得到一个预测的数值记为 Levelpre， 它的范围是1到K的整数； 将Levelpre和LevelGT进行loss函数计算和反向传播 来对分类 器模块进行训练； 使用步骤1得到的数据集进行分类 器模块训练， 最终得到一个训练完成的分类 器模块。 4.根据权利要求3所述的一种基于图片切割分类的视频超分辨率方法， 其特征在于， 步 骤3具体方法如下； 将已有的公开超分辨数据集进行分割切块； 切块规则是并且隶属于同一帧的放置于同 一帧文件夹， 隶属于同一视频序列的帧文件夹放置于同一视频文件夹， 对每一帧LR图像切 成h×w像素的小图像块MLRsub， 同时对于其GT图像切成4h ×4w像素的小图像块MGTsub。 5.根据权利要求4所述的一种基于图片切割分类的视频超分辨率方法， 其特征在于， 步 骤4具体方法如下； 总体模型的输入是相邻N帧同位置的LR小图像块N*MLRsub， 输出是中心帧经过超分辨率 处理的HR小图像块M HRsub；权　利　要　求　书 1/2 页 2 CN 115409714 A 2总体模型按照处 理阶段分成以下三个部分： 第一部分是步骤2训练的分类器模块， 此模块已在步骤2训练完成， 此时将参数权重进 行锁定， 不参与整体网络模型 的权重更新； 分类器模块根据输入图像块得到其所对应的复 杂度等级Level， 此等级和输入图像块将进入下一部分处 理； 第二部分是一个处理算法选择器， 根据输入的复杂度等级选择超分辨率算法模块中不 同性能的超分辨率算法作为第三部 分的处理算法， 可选择的算法保证性能的效果体现差异 与级别一 致； 第三部分为超分辨率算法模块； 超分辨率算法模块包括K个超分算法， 经过处理算法选 择器的算法选择， 对于每个不同的输入图像块N*ML Rsub， 此部分已含有对应复杂度的处理算 法； 将数据输入到已有 的算法模型后得到中心帧的处理结果MHRsub； 将MHRsub和MGTsub进行 loss函数计算和反向传播 来对总体模型进行训练； 通过步骤3所制作的数据集， 对总体模型训练， 最终得到训练完成的总体模型。权　利　要　求　书 2/2 页 3 CN 115409714 A 3