(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041026 5.3 (22)申请日 2022.04.19 (71)申请人 青岛海洋地质研究所 地址 266237 山东省青岛市 即墨区观山路 596号 (72)发明人 王诏　王燕　苏国辉　 (74)专利代理 机构 青岛汇智海纳 知识产权代理 有限公司 373 35 专利代理师 王丹丹　万桂斌 (51)Int.Cl. G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于阶梯型多尺度卷积神经网络的非均匀 噪声去除方法 (57)摘要 本发明公开一种基于阶梯型多尺度卷积神 经网络的非均匀噪声去除方法， 首先构建降噪卷 积神经网络模 型， 并基于已有噪声图像和清晰图 像对其进行训练； 所述降噪卷积神经网络模型包 括顺次连接的空洞卷积组合处理模块、 阶梯型多 尺度噪声识别模块、 多尺度特征融合模块和深度 学习降噪模块， 且卷积组合处理模块的输出与 深 度学习降噪模块的混合空洞卷积组合处理模块 的输入相连； 最后基于训练获得的降噪卷积神经 网络模型对噪声图像进行降噪处理， 输出降噪图 像； 本方案基于参数轻量化思考 设计阶梯型多尺 度网络结构， 引入1*1卷积、 3*3空洞卷积， 能在参 数量不激增的前提下， 充分获取图像多尺度信 息， 在去除非均匀噪声的同时保留更多图像细 节 信息。 权利要求书1页 说明书6页 附图2页 CN 114782695 A 2022.07.22 CN 114782695 A 1.基于阶梯型多尺度卷积神经网络的非均匀噪声 去除方法， 包括以下步骤： 步骤A、 构建降噪卷积神经网络模型， 并基于已有噪声图像和清晰图像对其进行训练； 步骤B、 基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理， 输出降噪图 像； 其特征在于， 所述步骤A中， 所述降噪卷积神经网络模型包括顺 次连接的空洞卷积组合 处理模块、 阶梯型多尺度噪声识别模块、 多尺度特 征融合模块和深度学习降噪模块； 定义空洞卷积组合处理层包括一个高通道3*3空洞卷积、 BN正则化层和LeakyReLU激活 函数层， 卷积组合处 理层包括 一个1*1卷积、 BN 正则化层和LeakyReLU激活函数层； 所述空洞卷积组合处理模块包括一个空洞卷积组合处理层， 用以对输入的噪声图像进 行处理， 获得噪声图像多维度细节与噪声特 征； 所述阶梯型多尺度噪声识别模块包括第一阶梯、 第二阶梯、 第三阶梯和第 四阶梯四级 处理模块， 用以对多尺度、 非周期复杂噪声的进行识别， 并对 噪声进行逐级降噪处理； 所述 第一阶梯包括一个卷积组合处理层； 所述第二阶梯 包括两个串联连接的空洞卷积组合处理 层； 所述第三层阶梯在第二 阶梯的第一个空洞卷积组合处理层的基础上， 再串联两个扩展 率不同的空洞卷积组合处理层； 所述第四层阶梯在第三层阶梯的第二个空洞卷积组合处理 层上， 再搭建一个不同扩展率的空洞卷积组合处 理层， 并增 加一个Dropout处 理； 所述多尺度特征融合模块包括一个卷积组合处理层， 用以融合阶梯型多尺度噪声识别 模块输出的多尺度特 征， 获得包 含多尺度图像细节特 征与残余噪声特 征的图像； 所述深度 学习降噪模块包括串联连接的第 一混合空洞卷积组合处理层， 卷积组合处理 层和第二混合空洞 卷积组合处理层， 且两个混合空洞 卷积组合处理层均增加一个Dropout 处理， 以进一步去除图像中包含的复杂噪声， 所述第一、 第二混合空洞卷积组合处理层是指 包括至少两个串联 连接、 且扩展率不同的空洞卷积组合处 理层的组合。 2.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法， 其 特征在于： 所述卷积组合处理模块的输出与深度学习降噪模块的第二混合空洞卷积组合处 理模块的输入相连， 将经 空洞卷积组合处理模块处理获得的多维度特征传递给第二混合空 洞卷积组合处 理模块， 优化深度网络学习能力。 3.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法， 其 特征在于： 所述混合空洞卷积组合处理层用来解决多个空洞卷积组合处理层串联导致图像 信息不连续的问题， 包括以下特征： ①叠加的空洞卷积组合处理层的扩展率没有 大于1的公 约数；②设计锯齿状空洞卷积网络结构。 4.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法， 其 特征在于： 所述 步骤A中的训练步骤如下： (1)以噪声图像为输入， 清晰图像为输出， 通过训练集进行模型参数拟合， 初步获得图 像降噪卷积神经网络模型； (2)通过验证集调整模型的超参数， 对模型的能力进行初步评估， 形成最终图像降噪卷 积神经网络模型； (3)通过测试集评估 模型最终的泛化能力， 得到最终的降噪卷积神经网络模型。权　利　要　求　书 1/1 页 2 CN 114782695 A 2基于阶梯型多尺度卷积神经 网络的非均匀噪声去除方 法 技术领域 [0001]本发明属于图像数据处理领域， 具体涉及 一种基于阶梯型多尺度卷积神经网络的 非均匀噪声 去除方法， 可应用于点状、 条状、 面状非均匀噪声图像降噪。 背景技术 [0002]常规影像采集系统中， 受硬件、 环境影响， 图像中易存在各种形状与尺度的非均匀 噪声， 如包含条带噪声的遥感影像、 包含杂质的水下视频影像等， 这些噪声的存在， 对后续 的图像分割 、 目标识别工作的开展带来 不利影响。 [0003]传统图像降噪方法主要有三种： 基于灰度信息统计的方法， 如直方图匹配法和矩 匹配法， 这类方法以各传感器具有相同灰度 统计特性为前提， 存在收敛速度慢和噪声去除 “不干净”的问题； 基于数字滤波的方法， 主要包括空间域滤波、 频率域滤波、 小波 滤波等， 其 中空间域滤波对孤立点噪声去除效果较好， 频率域滤波对具有周期性、 均匀的噪声去除效 果较好， 小波 滤波对方向性 强、 多尺度噪声有较好地解决办法； 基于变 分正则化的方法是通 过约束项的先验信息引入适当的正则项从而恢复目标图像， 该方法能有效地保留图像边界 和轮廓特征。 目前高分遥感影像分辨率已达到亚米级， 但与一般图像分辨率相比仍存在差 距， 由于遥感影像的每个像素都包含大量信息， 因此对遥感影像进行降噪时需要最大化保 留影像细节特 征， 而传统图像降噪方法在图像细节保留问题上表现欠佳。 [0004]随着大数据、 计算机硬件的快速发展， 基于卷积神经网络 的机器学习算法在图像 降噪方向上展现出了巨大潜力和卓越成就。 经典的神经网络降噪卷积神经网络模型， 尤其 是Unet模型， 通过池化、 反卷积过程， 使网络输入、 输出张量大小保持一致， 其中， 池化是通 过压缩特征数据起到降低计算量的作用， 但在压缩特征时不可避免丢失图像细节特征信 息， 因此在处理非均匀噪声时， 会存在图像细节模糊的问题。 另外， 随着卷积神经网络的应 用逐渐深入， 其结构逐步从单一、 多层结构演变为复杂、 深层结构， 参数量日渐庞大， 而参数 的训练受限于样本数据的规模， 过参数化会导 致模型过拟合， 降低模型泛化能力。 发明内容 [0005]本发明针对现有卷积神经网络在进行去噪时存在的缺陷， 提出一种基于阶梯型多 尺度卷积神经网络的非均匀噪声去除方法， 通过网络结构轻量化设计， 在参数量不激增的 前提下， 充分获取图像多尺度信息， 在去除非均匀噪声的同时保留更多图像细节信息 。 [0006]本发明是采用以下的技术方案实现的： 一种基于阶梯型多尺度卷积神经网络的非 均匀噪声 去除方法， 包括以下步骤： [0007]步骤A、 构建降噪卷积神经网络模型， 并基于已有噪声图像和清晰图像对其进行训 练； [0008]步骤B、 基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理， 输出降 噪图像； [0009]所述步骤A中， 所述降噪卷积神经网络模型包括顺次连接 的空洞卷积组合处理模说　明　书 1/6 页 3 CN 114782695 A 3