(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357921.8 (22)申请日 2022.04.06 (71)申请人 航天东方红卫星 有限公司 地址 100094 北京市海淀区北京5 616信箱 (72)发明人 王晓宇　刘宇航　张严　佘玉成　 (74)专利代理 机构 中国航天科技专利中心 11009 专利代理师 张晓飞 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 一种基于多路感知梯度的遥感图像薄云移 除方法 (57)摘要 本发明一种基于多路感知梯度的遥感图像 薄云移除方法， 所述方法包括： 建立遥感图像薄 云移除数据集， 按一定比例组成训练集、 验证集 和测试集； 搭建感知梯度提取模块， 用于提取图 像薄云特征； 搭建云层厚度估计模块， 用于自适 应估计云层厚度； 搭建遥感图像薄云移除网络， 用于从单张薄云遥感图像到清晰遥感图像的转 换； 采用遥感图像 薄云移除数据集训练遥感图像 薄云移除网络， 使用的损失函数包括特征损失函 数、 梯度损失函数和云层厚度损失函数； 将训练 结束得到的模型参数导入遥感图像薄云移除网 络， 输入单张薄 云遥感图像实现 薄云移除。 权利要求书3页 说明书12页 附图4页 CN 114936972 A 2022.08.23 CN 114936972 A 1.一种基于多路感知 梯度的遥感图像薄 云移除方法， 其特 征在于步骤如下： 1)建立遥感图像薄云移除数据集， 包括薄云遥感图像、 清晰遥感图像和云层厚度图像， 按比例组成训练集、 验证集和 测试集； 2)搭建感知 梯度提取模块， 用于提取图像薄 云特征； 3)搭建云层厚度估计模块， 用于自适应估计云层厚度； 4)基于步骤2)中得到的感知梯度提取模块和步骤3)中得到的云层厚度估计模块， 搭建 遥感图像薄 云移除网络， 用于从单张薄 云遥感图像到清晰遥感图像的转换； 5)利用步骤1)得到的数据集训练遥感图像薄云移除网络， 使用的损失函数包括特征损 失函数、 梯度损失函数和云层厚度损失函数； 6)将训练结束得到的模型参数导入遥感图像薄云移除网络， 输入单张薄云遥感图像实 现薄云移除。 2.根据权利要求1所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述步骤1)中， 遥感图像薄 云移除数据集具体为： 11)选取n张清晰遥感图像R， 通过生成仿真薄云得到薄云遥感图像C和云层厚度图像T； 将遥感图裁剪成尺寸为N ×N的图像， 将具有对应关系的清晰遥感图像R、 薄云遥感图像C和 云层厚度图像T组成遥感图像薄云移除数据集， 记 为{Ri,Ci,Ti|i∈(1,…,m)}， 其中i为图像 的序号， m为图像的数量， i和m为 正整数； 12)将遥感图像薄云移除数据集按照p1:p2:p3的比例划 分为训练集、 验证集和测试集， 其中， p1、 p2和p3为正整数， 且p1>p2,p1>p3。 3.根据权利要求1所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述步骤2)中， 所述搭建感知梯度提取模块具体包括感知特征提取单元、 梯度信息提取 单元、 残差特 征提取单元和残差连接 。 4.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述感知特征提取单元具体采用VGG19网络提取图像特征， 模拟人类视觉系统提取图像 感知层面的特征， 采用VGG19网络第n1层第n2个输出结果作为感知特征信 息， 用于后续薄云 移除任务， 其中， n1和n2为正整数。 5.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述梯度信息提取单元具体采用Sobel算子滤波器在特征图上做步幅为d1的卷积操作， 用于提取图像梯度信息， 梯度信息中包 含云层相关特 征； 其中， d1为正整数。 6.根据权利要求3所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述残差特征提取单元由e个残差单元组成， 每个残差单元包括s1个卷积+ReLU激活函 数、 1个特征校准单元和1个残差学习， 卷积核尺寸均为f ×f， 步幅为d2， 其中e、 s1、 f和d2均为 正整数。 7.根据权利要求6所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述特征校准单元由3条支路组成， 进行图像特征校准任务， 该单元输入为αin， 输出为 αout； 支路1为特征图的每个像素赋予一个权重， 实现像素级特征校准， 由g个卷积 +ReLU激活 函数组合和1个卷积+Sigmoid激 活函数组合组成， 支路1的输出结果为αs， 卷积核尺寸为z × z， 步幅为x， 支路1不改变特 征图尺寸和通道数量， 其中， g、 z和x均为 正整数；权　利　要　求　书 1/3 页 2 CN 114936972 A 2支路2不做任何操作， 输出仍 为特征校准单元的输入αin； 支路3为特征图的每个通道内的像素赋予一个相同权重， 实现通道级特征校准， 由平均 值池化、 v个卷积+ReLU激活函数组合、 1个卷积+Sigmoid激活函数组合和1个特征尺寸扩充 单元组成； 平均值池化将特征图每个通道的像素值取平均值作为结果， 特征图尺寸由W ×H ×C变为1×1×C； 特征尺 寸扩充单元将特征图由尺 寸为1×1×C复制扩充为W ×H×C， 即由1 ×1个值复制为W ×H个相同的值， 保持支路3的输入和输出特征图尺寸和通道数量不变； 支 路3输出结果为αc， 卷积核尺寸 为a×a， 步幅为 k， 其中， v、 a和k均为 正整数； 特征校准单元的输出αout为3条支路输出特征图在对应像素进行乘积操作的结果， 如下 所述： 式中， αout为特征校准单元的输出， αs为支路1的输出结果， αin为支路2的输出结果， αc为 支路3的输出 结果。 8.根据权利要求7所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在 于， 所述步骤3)中， 所述搭建云层厚度估计模块， 包括边缘特征提取部分和特征校准部分， 用于自适应估计云层厚度， 云层厚度估计模块输入为薄云遥感图像C， 输出为预测云层厚度 和特征图φout； 边缘特征提取部分包括w条支路， 每条支路结构相同， 均由步骤2)中梯度信息提取部分 和残差单元组成， 支路采用的卷积核尺寸逐渐增大； 对于第r条支路， 输入经过梯度信息提 取部分和残差单元的结果记为φr， 卷积核尺寸为(2r+1) ×(2r+1)， 其中， r∈(1, …,w)， r和 w为正整数； 相邻两条支路 的输出对应像素求和， 求和后的支路共计w ‑1条， 求和后的第j条 支路的结果记为 δj， 如下所述： 式中， j∈(1, …,w‑1)， j和w为正整数， 表示特征图对应位置元 素求和； 特征校准部分由w ‑1个特征校准单元组成， 对于特征校准部分的第i条支路， 特征校准 单元的输出记为 πi， 如下所述： πi＝FC( δi)； 式中， i∈(1, …,w‑1)， FC(·)表示特征校准单元的输出； 将特征校准部分FC的输出在通道上连接起来， 结果记为φout， 作为云层厚度估计模块 的第1个输出， 如下 所述： φout＝concat( π1,…, πw‑1)； 式中， concat(·)表示将特 征图在通道上级联； 将特征图φout送进卷积和ReLU激活函数得到预测云层厚度 作为云层厚度估计模块 第2个输出， 如下 所述： 式中， conv( ·)表示卷积 核尺寸为l ×l的卷积， 步幅为d3， ReLU(·)表示ReLU激活函数， l和d3为正整数。 9.根据权利要求8所述的一种基于多路感知梯度的遥感图像薄云移除方法， 其特征在权　利　要　求　书 2/3 页 3 CN 114936972 A 3