(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610204.1 (22)申请日 2022.05.31 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 李春国　李武斌　陆敬奔　罗顺　 吴宇凡　杨绿溪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 唐少群 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于通道注意力和跨尺度特征融合的 图像去模糊方法 (57)摘要 本发明公开了一种基于通道注意力和跨尺 度特征融合的图像去模糊方法， 包括： 根据公开 的模糊图像数据集， 构建训练集、 验证集和测试 集； 构建基于通道注意力和跨尺度特征融合的 图 像去模糊网络模 型， 利用所构建的训练集对模型 进行监督训练， 得到收敛的去模糊网络模型； 在 所构建的模糊图像测试集上评估本发明所提网 络模型的去模糊性能。 本发明所提方法相比于 DMPHN等算法取得了更好的去模糊性能。 本发明 在降低网络整体参数量， 极大减少前向推理时间 的同时取得了更高的峰值信噪比和结构相似性， 提升了图像去 模糊的效果。 权利要求书3页 说明书10页 附图4页 CN 114936977 A 2022.08.23 CN 114936977 A 1.一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述方法 包括： 步骤S1、 获取模糊图像数据集， 再划分为训练集、 验证集和 测试集； 步骤S2、 构建一个基于通道注意力和跨尺度特征融合的图像去模糊网络模型， 该图像 去模糊网络模型包括： 编码器模块， 解码器模块， 监督模块和跨尺度特征融合模块， 并且该 四个模块中均包括通道注意力残差模块； 其中， 该编码 器模块以模糊图像为输入， 以提取到 的多个中间特征图谱和输出特征图谱作为输出； 该解码器模块以解码器模块的输出为输 入， 并且在该编 码器模块和解码 器模块， 其相同分辨率的特征层之间设置有跳跃连接， 用以 降低编解码网络的学习难度和训练难度； 所述的监督模块设置在编码器模块和解码器模 块， 其不同尺度的特征层中， 用以对不同尺度下的重 建图像进 行监督； 所述跨尺度特征融合 模块对浅层特征和不同尺度的解码特征进 行逐步的跨尺度特征融合， 最 终输出重建的去模 糊图像； 步骤S3、 通过步骤S1中得到的训练集对步骤S2中构 建的图像去模糊网络模型进行监督 训练， 进而 得到收敛的网络模型， 该收敛的网络模 型以模糊图像为输入， 经前向运算输出重 建的去模糊图像。 2.根据权利要求1所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 在所述 步骤S1具体包括： 获取公开的模糊图像数据集G OPRO； 再将该数据 集GOPRO划分为训练集、 验证集和测试集， 分别包括2000对训练图像对， 103 对验证图像对和1 111对测试图像对； 同时获取公开的模糊图像数据集HIDE， 使用划分好的2025对测试图像作为测试集。 3.根据权利要求1所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述编码 器模块， 其包括： 通道注意力残差模块和特征下采样层； 其中， 当输入 图像输入至该编 码器模块中， 首先， 依次经过两层简单卷积层， 12个特征通道数为64的通道 注意力残差模块得到中间特征图谱encoded_feats1； 然后， 该encoded_feats1经过采样因 子为0.5的特征下采样层和12个特征通道数为96的通道注 意力残差模块得到中间特征图谱 encoded_feats2； 最后， 该encoded_feats2经过采样因子为0.5的特征下采样层和12 个特征 通道数为128的通道 注意力残差模块得到编码器模块的输出 特征图谱encoded_feats3 。 4.根据权利要求3所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述的解码器模块， 其同样包括多个不同尺度下 的注意力残差模块和特征上 采样层； 其中， 以所述的输出特征图谱encoded_feats3作为该解码器模块的输入， 首先， 该 输入依次经过12个特征通道数为128的通道注意力残差模块得到中间解码特征feats3； 然 后， 该feats3经过采样因子为2的特征上采样层， 其中， 该特征上采样层以1 ×1卷积的方式 将特征通道数降低 为96， 得到中间特征图谱decode d_feats3， 该decode d_feats3与编码器 模块中的encoded_feats2进行逐像素相加， 再输入至12 个特征通道数为96的通道注意力残 差模块得到中间解码特征feats2； 最后， 该feats2经过采样因子为2的特征上采样层， 其中， 该特征上采样层以1 ×1卷积的方式将特征通道数降低为64， 得到中间特征图谱decoded_ feats2， 该 decoded_feats2与编码器模块中的encode d_feats1进行逐像素相加， 再输入至 12个特征通道数为64的通道 注意力残差模块， 得到解码输出 特征图谱F3。权　利　要　求　书 1/3 页 2 CN 114936977 A 25.根据权利要求4所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述的通道注意力残差模块， 其包括依次连接的卷积层、 ReLU函数层、 卷积层 和通道注意力层； 其中， 该通道注意力模块包括依次连接的全局平均池化层、 全连接层、 激 活函数层、 全连接层和Sigmo id函数层。 6.根据权利要求5所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 在所述的监 督模块中， 执 行如下的操作： 首先， 所述的中间解码特征feats3经过卷积层运算得到通道数为3的残差图像， 该残差 图像与相应分辨率下的原始模糊图像Iblur进行残差连接得到该分辨率下复原的清晰图像 Ideblur； 然后， 通过利用该分辨率下的真实清晰图像Isharp对所述的复原的清晰图像Ideblur进行 监督训练， 其中， 通过 该种局部监 督训练能够约束解码特 征图的生成； 最后， 为了加强复原图像对解码特征图谱的反作用， 复原的清晰图像Ideblur经过卷积层 运算和sigmoid函数运算进一步生成了用于加权中间解码特征feats3的权重张量； 该中间 解码特征feats3与权重张量逐像素对应相乘， 并经过残差连接输出得到校正后的解码特征 F1； 同样的， 中间解码特 征feats2经 过该监督模块得到校正后的解码特 征F2； 以这种加权校正解码特征的方式替代直接将复原图像输入更高层网络的方式能够提 高特征信息的传递效率， 强化和校正重要的解码特 征， 从而提高复原出的清晰图像的质量。 7.根据权利要求6所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述的跨尺度特征融合模块， 其包括： 上采样层， 卷积层和深度残差注意力模 块； 并且该深度残差注意力模块包括： 4个通道 注意力残差模块， 卷积层和残差； 其中， 该跨尺度特征融合模块中， 为了充分利用和融合输入的浅层特征信息和不同尺 度的解码特 征信息， 跨尺度特 征融合模块采用逐步融合的方式， 其包括： 首先， 最低分辨率的校正解码特征 经过上采样层和卷积层运算后 与浅层特征 逐像素对应相加， 再输入RIRCAB模块进行充 分的特征融合和重建得 到 然后， 校正解码特征 经过上采样层和卷积层运算后与中间特征FM1逐像 素对应相加， 再输入RIRCAB模块得到 接着， 校正解码特征 经过上采样层和卷积层运算后与中间特征FM2逐像素对 应相加， 再输入RIRCAB模块得到 最后， 经过卷积层最终重建出清晰图像。 8.根据权利要求7所述的一种基于通道注意力和跨尺度特征融合的图像去模糊方法， 其特征在于， 所述 步骤S3包括： 步骤S301、 首先对用于训练的模糊图像和真实清晰图像对进行相同的预处理操作， 然 后将完成预处理的模糊图像块输入网络模型进行训练， 其中， 所述的预处理操作包括： 首先 从原始图像中随机裁取分辨率为256 ×256的图像块， 然后对图像块进行 随机水平翻转、 随 机垂直翻转和随机90度旋转的数据增强处 理， 最后将图像块像素归一 化；权　利　要　求　书 2/3 页 3 CN 114936977 A 3