(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210565008.7 (22)申请日 2022.05.23 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 李俊　樊俊凯　杨健　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种真实雾场景的AI去烟雾方法 (57)摘要 本发明公开了一种真实场景的AI去烟雾方 法， 为真实烟雾场景提供更清晰的视野， 该方法 利用非对齐的清晰图像设计损失函数监督训练 去烟雾网络， 并且重新定义了大气光的均值 ‑方 差描述方式和传输介质图的三通道方式， 提出相 应的神经网络结构更好的学习大气光和传输介 质图， 使得重构损失函数有效地训练去烟雾网 络。 本发明降低了传统监督模型对 数据的严格对 齐需求， 使得模型能够在真实场景下完成训练， 避免了合成数据训练与真实数据测试的不一致 性导致的不好效果； 重新定义了大气光和传输介 质图， 使得更符合真实场景， 从而提升真实场景 下的去烟雾效果。 权利要求书1页 说明书8页 附图4页 CN 114913093 A 2022.08.16 CN 114913093 A 1.一种真实场景的AI去烟雾方法， 其特 征在于， 包括： 步骤1、 输入烟雾图像I， 利用暗通道先验方法初始化得到初步的去烟雾图像JDCP和暗通 道图像D， 并将JDCP输入去烟雾网络， 生成去烟雾结果J； 步骤2、 将烟雾图像I和暗通道图像D输入到卷积网络， 提取空间卷积特征图FI和FD， 利用 自注意力 机制计算FI和FD的自注意力特征Fatt， 并筛选每个通道1％最亮像素点的均值作为 相对均值特 征Am， 然后将FI与Fatt之差作为相对差值特 征Ad， 最后计算真实场景的大气光A∞； 步骤3、 将烟雾图像I输入到通道注意力的卷积网络， 生成粗糙的三通道传输介质图 再运用指导滤波模块计算更加精确且精细化的传输介质图T； 步骤4、 根据步骤1 ‑步骤3生成的J， A∞和T， 利用大气散射模型计算重构烟雾图像Irec， 然 后定义Irec和I的重构损失函数 包含三个损失函数之和， 分别是一阶范数损失 感知 损失 和结构相似度损失 其中 运用VGG16计算感知内容； 步骤5、 利用多尺度的非对齐参考损失 对去烟雾网络进行 颜色和纹 理的监督学习； 步骤6、 根据步骤4、 步骤5 的两个损失函数 和 对整个NSDNet框架进行网络参数 优化获得去烟雾网络； 最后， 输入测试真实RGB烟雾图像It， 根据步骤1的流程， 生成清晰场 景图像结果Jt。 2.根据权利要求1所述的真实场景的AI去烟雾方法， 其特征在于， 步骤1中利用暗通道 先验方法计算初步的去烟雾图像JDCP和暗通道图像D， 分别对应去烟雾网络和大气光网络的 输入。 3.根据权利要求1所述的真实场景的AI去烟雾方法， 其特征在于， 步骤2利用卷积网络 分别提取烟雾图像I和暗通道图像D的特征FI和FD， 计算其自注意力特征Fatt， 筛选每个通道 1％最亮像素点的均值作为相对均值特征Am， 然后将FI与Fatt之差作为相对差值特征Ad， 最后 通过线性组合计算真实场景的大气光A∞＝α Am+β Ad， A∞是非均匀的。 4.根据权利要求1所述的真实场景的AI去烟雾方法， 其特征在于， 步骤4中利用预测出 的J， A∞和T带入到 大气散射模型I(x)＝J(x)t(x)+A∞(1‑t(x))， 计算重构的烟雾图像Irec， 重 构损失函数 对Irec进行纹理和颜色的无监督学习， 其中 运用 VGG16计算感知内容。 5.根据权利要求1所述的真实场景的AI去烟雾方法， 其特征在于， 步骤5中多尺度的非 对齐参考损失 对去烟雾网络进行颜色和纹理的监督学习， 其 中 运用VGG16网络计算J和Jref之间的多尺度 内容损失和 运用patch ‑GAN 的鉴别器来计算J和Jref之间的多尺度对抗损失。 6.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑5中任一所述的真实场 景的AI去烟雾方法。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑5中任一所述的真实场景的AI去烟雾方法。 8.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行时 实现权利要求1 ‑5中任一所述的方法的步骤。权　利　要　求　书 1/1 页 2 CN 114913093 A 2一种真实 雾场景的AI去烟雾方 法 技术领域 [0001]本发明涉及图像恢复与场景重建领域， 具体涉及 一种真实场景下的图像去烟雾算 法。 背景技术 [0002]一直以来， 恶劣天气环境都是造成交通事故的一大重要原因， 特别是雾天， 由于雾 天能见度有限极其容易造成车辆相撞和追尾， 所以图像去雾也是机器视觉研究中的一个重 要任务。 当前无论是车载驾驶系统还是无人驾驶辅助系统都对于 “去雾”技术非常感兴趣。 尽管去雾这个任务在视觉领域已经被研究了数十年， 但是， 现有去雾方法仍然存在着许多 问题， 例如： 很难完全移除雾， 恢复的清晰场景图出现颜色失真和伪影等问题。 这些问题的 存在使得去雾算法很难真正的应用在驾驶系统中。 现有去雾算法主要分为二大类： 一是基 于物理先验知识(雾本身的统计属性)去雾， 二是基于学习的方法(例如： 深度学习、 对抗学 习等)去雾 。 [0003]在基于物理先验知识去雾方面， 这些方法主要利用雾图的统计特征或者假设进行 去雾。 最为有影响力的是暗通道先验的去雾方法， 通过 统计雾图像的物理属性， 提升估计的 大气光A∞和传输介质图T的准确性， 从而获得高质量的去雾效果。 但是， 该方法还是存在缺 陷， 例如： 天空 区域容易出现伪影， 并且去雾后的场景颜色偏暗。 类似地， 有很多基于先验的 去雾方法仍然存在着上述的问题， 这些基于物理先验的设计模型思想， 限制在符合先验假 设场景下的去雾问题， 几乎不可能做到全面覆盖 。 [0004]在基于学习的方式去雾方面， 大概分为三类方法。 第一类， 利用卷积网络去从雾图 像上学习大气光A∞和传输介质图T， 然后通过根据大气散射模型得到J(即清晰的图像)。 第 二类， 直接训练一个端到端的网络框架， 直接从雾图像映射到清晰图像。 第三类， 通过对抗 学习的方式， 直接生成清晰的图像。 这些方法严重依赖于对齐的烟雾/清晰样本对数据， 然 而在真实场景下很难获得对齐的清晰图像， 所以这些方法只能在合成数据集上训练模型。 但是， 在合成数据集上训练的模型， 在真实场景上并不能达到令人满意的效果。 除此之外， 这些方法仍然沿用了暗通道先验方法来定义大气光A∞和传输介质图像T。 此定义不仅对大 气光太过 理想化， 完全忽略了光的波长的影响， 并不够贴近真实场景， 而且对单通道的输介 质图几乎不能 区分白色物体和雾区域。 发明内容 [0005]本发明的目的在于提供一种真实雾场景的AI去烟雾方法。 一方面， 利用非对齐 的 清晰图像设计损失函数 监督训练去烟雾网络； 另一方面， 重新定义了大气光的均值 ‑方 差描述方式和传输介质图的三通道方式， 并提出相应的神经网络结构更好的学习大气光和 传输介质图， 使得重构损失函数 有效地训练去烟雾网络 。 [0006]实现本发明的技术解决方案为： 第一方面， 本发明提供一种真实场景的AI去烟雾 方法， 包括：说　明　书 1/8 页 3 CN 114913093 A 3