(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211169177.5 (22)申请日 2022.09.26 (71)申请人 山东锋士信息技 术有限公司 地址 250101 山东省济南市高新 技术产业 开发区舜华路1号齐 鲁软件园6号楼 (72)发明人 孙启玉　刘玉峰　孙平　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/10(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双路卷积与双注意的高光谱图像分类 方法及存 储介质 (57)摘要 本发明涉及基于双路卷积与双注意的高光 谱图像分类方法及存储介质， 属于遥感图像技术 领域。 方法包括步骤S1.对图像进行预处理； S2. 采样图像块的剪裁， 数据集的划分； S3.将图像块 分别送入构建的空间注意力双路卷积模块和通 道注意力双路卷积模块， 分别进行面光谱 ‑空间 特征提取； S4.将两模块提取后的光谱 ‑空间特征 进行双分支特征融合， 再输入基本双路卷积网络 组块进一步提取光谱 ‑空间特征； S5.将提取的光 谱‑空间特征映射送入分类器进行像元分类， 计 算损失值； S6.迭代训练与优化模型， 利用最后的 模型获得最终高光谱图像分类映射。 该种方法可 以实现对判别性、 精细特征的提取， 提高分类性 能和分类模型的泛化能力。 权利要求书2页 说明书6页 附图4页 CN 115272776 A 2022.11.01 CN 115272776 A 1.基于双路卷积与双注意的高光谱图像分类方法， 其特 征是， 包括步骤如下： S1. 对加载的原 始图像进行 标准化预处理； S2.将预处理后的图像实现采样图像块的剪裁， 将采样数据集分为训练集、 验证集和测 试集； S3.将同一图像块分别送入构建的空间注意力双路卷积模块和通道注意力双 路卷积模 块， 分别进 行面向自适应空间信息和自适应通道信息的光谱 ‑空间特征提取； 其中空间注 意 力双路卷积模块进行光谱 ‑空间特征提取的步骤包括对图像块用两路 并行设置的卷积网络 进行初步特征提取、 两路初步特征的合并、 对合并后的光谱 ‑空间特征进 行逐通道的批归一 化和非线性激活函数 处理、 在模块最后的批归一化处理后经空间注意力映射提取再经过非 线性激活函数处理； 通道注意力双路卷积模块进行光谱 ‑空间特征提取 的步骤包括对图像 块用两路 并行设置的卷积网络进 行初步特征提取、 一路初步特征提取后经通道注意力映射 提取、 然后提取的映射特征与另路初步特征合并、 对合并后的光谱 ‑空间特征进 行逐通道的 批归一化和非线性激活函数处 理； S4. 将两路模块提取后的光谱 ‑空间特征进行双分支特征融合， 再输入基本双路卷积 网络组块进一 步进行光谱 ‑空间特征的细化； S5. 将细化得到的光谱 ‑空间特征映射送入分类器进行像元分类， 并根据产生的标签 分类概率值计算损失值； S6.迭代训练与优化模型， 利用最后的模型获得最终高光谱图像分类映射。 2.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S3空间注意力 双路卷积模块中所述的两路并行设置的卷积网络一路由1 ×1卷积层实现， 1×1卷积层的输出通道配置批归一化操作和ReLU非线性激活函数， 一路由3 ×3卷积层实 现， 3×3卷积层的输出通道配置批归一化操作和ReLU非线性激活函数； 步骤S3空间注意力 双路卷积模块中所述的两路初步特 征的合并使用逐 元素加法完成。 3.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 所 述的空间注意力映射提取通过空间注意力模块实现， 首先对输入的光谱 ‑空间特征图沿着 通道维度分别使用最大值池化和均值池化进 行特征抽象， 分别得到一张2D的空间特征描述 符， 将得到的两张空间特征描述符进行通道维度拼接之后， 送入7 ×7卷积层进行注意力映 射学习， 并衔接Sigmo id非线性 函数进行激活， 得到空间注意力映射。 4.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S3空间注意力 双路卷积模块进 行光谱‑空间特征提取的步骤还包括利用非线性激活函数 处理后的空间注意力映射与空间注意力双路卷积模块原始输入的光谱 ‑空间特征图在空间 维度进行 逐元素相乘的步骤。 5.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S3通道注意力 双路卷积模块中所述的两路并行设置的卷积网络一路由1 ×1卷积层实现， 1×1卷积层的输出通道配置批归一化操作和ReLU非线性激活函数， 一路由3 ×3卷积层实 现， 3×3卷积层的输出通道配置批归一化操作和ReLU非线性激活函数， 且后接通道注意力 映射提取； 步骤S3通道注意力双路卷积模块中所述的映射特征与初步特征的合并， 使用逐 元素加法完成。 6.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步权　利　要　求　书 1/2 页 2 CN 115272776 A 2骤S3通道注意力映射提取通过通道注意力模块实现， 首先对输入的光谱 ‑空间特征图沿着 空间维度使用均值池化进行特征抽象， 得到一个1D的通道特征描述符， 然后衔接一个小型 的双层全连接组， 实现通道特征 的升维度和降维度提取， 其中双层全连接组嵌入的非线性 激活函数是ReLU函数， 之后使用Sigmoid非线性函数做进一步非线性激活来得到通道注意 力映射。 7.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S3通道注意力 双路卷积模块进 行光谱‑空间特征提取的步骤还包括利用经批归一化和非 线性激活函数 处理后的合并后的光谱 ‑空间特征与通道注意力 双路卷积模块原始输入的光 谱‑空间特征图在通道维度进行 逐元素相乘的步骤。 8.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S4所述的双分支特征融合使用逐元素加法进 行， 双分支特征融合后进 行逐通道地批归一 化处理， 所述的基本双路卷积网络组块由1 ×1和3×3两个卷积层分支、 逐元素加法操作、 批 归一化操作和ReLU激活函数组成。 9.根据权利要求1所述的基于双 路卷积与双注意的高光谱图像分类方法， 其特征是， 步 骤S5所述的分类器使用经典的三层分类器进行最终的高光谱图像像元分类， 最终分类器使 用softmax激活函数预测产生标签 分类概率， 使用交叉熵损失函数计算损失值， 使用的交叉 熵损失函数表示 为： 其中， 表示计算得出的损失值， N表示模型采用小批次训练模式中的单批次训练集的 样本数目， 此处值为32， K代表数据场景中的类别数， n和k分别索引当前批次训练集的第 n个 样本和类别标签集中 的第k个类别，yn代表当前批次训练集中第 n个高光谱图像块样本的真 值， 表示指示函数， 当 yn为k时， 为1； 否则， 为0， 除此之外， 代表所考虑的第 n个高光谱图像块样本属于 k类别的softmax函数 输出概率值。 10.一种存储介质， 所述存储介质为计算机可读存储介质， 其上存储有计算机程序， 其 特征是， 该程序被处理器执行时实现如权利要求1 ‑9任意一项所述的基于双路卷积与双注 意的高光谱图像分类方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115272776 A 3