(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211128397.3 (22)申请日 2022.09.16 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 李阳阳　陈茜　毛鹤亭　焦李成　 尚荣华　李玲玲　马文萍　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/22(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多尺度双流架构的遥感图像小样本场 景分类方法 (57)摘要 本发明公开了一种基于多尺度双流架构的 遥感图像小样本场景分类方法， 主要解决现有技 术图像判别存在信息丢失， 易受遥感图像复杂背 景和物体尺度剧烈变化影响的问题。 其方案是： 获取数据集进行数据预处理； 对 预处理后的数据 集随机采样， 生成用于训练、 验证和测试的支持 集与查询集； 构建由全局流网络、 局部流网络和 关键区域定位模块组成的整体双流网络； 定义全 局流和局部流的损失函数， 训练并验证整体双流 网络， 得到最优网络模型； 使用最优网络模型对 测试样本进行分类， 得到场景分类结果。 本发明 减少了遥感图像判别信息的丢失， 避免复杂背景 和物体尺度剧烈变化对场景分类的影 响， 提高了 分类精度， 可用于自然灾害检测、 城市规划、 环境 监测及植被调查。 权利要求书3页 说明书7页 附图2页 CN 115311502 A 2022.11.08 CN 115311502 A 1.一种基于多尺度双流架构的遥感图像小样本场景分类方法， 其特 征在于， 包括： (1)从公开网站获取三个不同的遥感图像数据集， 对数据集中的图像依次进行裁剪、 随 机水平翻转、 随机亮度增强、 随机色彩增强和随机对比度增强的预处 理； (2)对预处理后的数据集随机采样， 获得训练支持集S1与训练查询集T1， 验证支持集S2 与验证查询集T2， 测试支持集S3与测试查询集T3； (3)构建整体双流网络： 3a)建立由注意力深度嵌入模块A、 类别相关注意力 模块B和度量模块C连接构成的全局 流网络； 3b)选用现有的原型网络作为局部流网络； 3c)建立由向量构建操作和贪婪边界搜索组成的 的关键区域定位模块； 3d)将全局流网络和 局部流网络通过关键区域定位模块连接， 得到整体双流网络； (4)利用训练支持集S1与训练查询集T1， 通过小样本情景训练方法对整体双流网络进行 训练， 得到训练后的双流网络； (5)将验证支持集S2与验证查询集T2输入到训练后的双流网络进行 网络参数微调， 保存 指标最高的网络作为 最优双流网络模型； (6)将测试支持集S3与测试查询集T3输入到最优双流网络模型， 得到最终分类结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(2)实现如下： 2a)对预处理后的三个不同的遥感图像数据 集分别进行划分， 即将NWPU ‑RESISC45数据 集按25： 10： 10的比例划分为训练集、 验证集、 测试集， 将WHU ‑RS19数据集按9： 5： 5的比例划 分为训练集、 验证集、 测试集， 将UC ‑Merced数据集按10： 6： 5的比例划分为训练集、 验证集、 测试集； 2b)分别从各数据集的训练集中随机选取个类别， 每个类别随机采样K张图像， 由这C × K张图像构成训练支持集S1， 同时在这C个类别剩余的图像中每个类别中等量随机选择N张 图像， 构成训练查询集T1； 2c)从各数据集的验证集中随机选取C个类别， 每个类别随机采样K张图像， 由这C ×K张 图像构成验证支持集S2； 在这C个类别剩余的图像中每个类别中等量随机选择N张图像， 构 成验证查询集T2； 2d)从各数据集的测试集中随机选取C个类别， 每个类别随机采样K张图像， 由这C ×K张 图像构成测试支持集S3， 在这C个类别剩余的图像中每个类别中等量随机选择N张图像， 构 成测试查询集T3。 3.根据权利要求1所述的方法， 其特 征在于， 步骤(3a)构建的全局流网络结构如下： 所述注意力深度嵌入模块A， 由一个卷积层、 四个卷积块、 平均池化层、 通道数为128的1 ×1卷积层级联构成； 该卷积层由通道数为64的7 ×7卷积滤波器和 3×3的最大池化操作组 成， 每个卷积块都由4个3 ×3卷积滤波器组成， 每两个卷积滤波器后添加一个跳连接操作， 第一卷积块通道数为64， 第二卷积块通道数为 128， 第三卷积块通道数为256， 第四卷积块通 道数为512； 所述类别相关注意力模块B， 用于 输出注意力特 征图M， 所述度量模块C， 用于 输出给定查询图像q到类c之间的相似性 权　利　要　求　书 1/3 页 2 CN 115311502 A 2将类别相关注意力模块B输入端与注意力深度嵌入模块A的第二卷积块输出端相连， 再 将类别相关注意力模块B的输出端和注意力深度嵌入模块A的最后一个1 ×1卷积层输出端 同时连接 到度量模块C， 度量模块C的输出即为全局流网络的输出。 4.根据权利要求3所述的方法， 其特征在于， 类别相关注意力模块B计算输出注意力特 征图M， 计算公式如下 所示： M(x)＝Sigmo id(∑difi) 其中， fi代表输入的第i个通道的特 征， di表示权重向量， 计算如下： 其中， δ表 示ReLU激活函数， σ 表 示Sigmoid激活函数， 和 均为全连接网络的权重， 分别用于按比例缩减特征图维度和扩张特征图维度， N表示特征图像素的总数， fg(xj)＝ Wg·xj， fk(xj)＝softmax(Wk·xj)是计算沿着像素点j的注意力特 征图， 表示矩阵乘法。 5.根据权利要求3所述的方法， 其特征在于， 度量模块C计算输出给定查询图像q到类c 之间的相似性 是对每个描述子xi， 先在类c中找到它的k个最近邻 再 计算xi与每个 之间的相似度， 并利用注意力图对描述子的相似度进行加权求和， 得到给 定查询图像q到类c之间的相似性 其中， M(xi)表示注意力特征图在xi位置处的响应值， xi代表q的第i个描述子， m表示描 述子的总数， 表示xi在类c中的第j个最近邻， cos( ·)表示两个向量之间的余弦相似度。 6.根据权利要求1所述的方法， 其特征在于， 步骤(3c)建立由向量构建操作和贪婪边界 搜索组成的 的关键区域定位模块， 实现如下： 3c1)向量构建操作是沿着空间的高度和宽度方向， 将注意力图聚合为两个一维结构能 量向量： 其中， 是沿着高度方向聚合得到的能量向量， 是沿着宽度方向聚合得 到的能量向量， M代表得到的注意力特征图， M(i， W)表示特征图M位于(i， W)位置处的值， M (H， j)表示特 征图M位于(H， j)位置处的值， H表示总高度， W表示总宽度； 3c2)贪婪边界搜索是快速准确地定位一维能量向量中最重要的一维区域， 得到区域边 界框的坐标点B＝[xa,xb,ya,yb]。权　利　要　求　书 2/3 页 3 CN 115311502 A 3