(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210308387.1 (22)申请日 2022.03.28 (65)同一申请的已公布的文献号 申请公布号 CN 114419449 A (43)申请公布日 2022.04.29 (73)专利权人 成都信息工程大学 地址 610200 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 符颖　郭丹青　文武　吴锡　 周激流　 (74)专利代理 机构 成都智涌知识产权代理事务 所(普通合伙) 51313 专利代理师 魏振柯 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113516126 A,2021.10.19CN 113688813 A,2021.1 1.23 CN 112418176 A,2021.02.26 CN 113850825 A,2021.12.28 CN 111797779 A,2020.10.20 CN 111145170 A,2020.0 5.12 CN 114202550 A,2022.03.18 CN 114140472 A,202 2.03.04 CN 110689083 A,2020.01.14 CN 113469094 A,2021.10.01 CN 113705675 A,2021.1 1.26 CN 112329800 A,2021.02.0 5 CN 112560733 A,2021.0 3.26 CN 112597985 A,2021.04.02 US 20191642 90 A1,2019.0 5.30 US 2022051056 A1,202 2.02.17 钟建平.基 于特征融合与注意力机制的视频 目标检测研究. 《中国优秀硕士学位 论文全文数 据库 信息科技 辑》 .2022,(第3期),第I138-2321 页. 郑婷月等.基 于全卷积神经网络的多尺度视 网膜血管分割. 《光学 学报》 .2019,第39卷(第2 期),第021 1002-1-8. (续) 审查员 杨晓青 (54)发明名称 一种自注意力多尺度特征融合的遥感图像 语义分割方法 (57)摘要 本发明涉及一种自注意力多尺度特征融合 的遥感图像语义分割方法， 所述 分割网络包括特 征编码器和解码器， 特征编码器将前三个阶段不 同尺度大小的特征图传递给解码器中对应的自 注意力多尺度特征融合模块， 解码器从最后一个 阶段的特征图开始上采样并与自注意力多尺度 特征融合的特征图进行叠加， 逐步进行直到和第 一阶段的特征图尺度一样， 最后将所有尺度的特 征图分别上采样至原 图大小并对每个像素预测 分类， 并将四个尺度的预测结果进行融合得到最终的遥感图像语义分割结果， 本发 明方法能够 有 效融合不同尺度的遥感语义特征， 提升分割性 能。 [转续页] 权利要求书2页 说明书7页 附图3页 CN 114419449 B 2022.06.24 CN 114419449 B (56)对比文件 Sitong Wu等.Ful ly Transformer Networks for Semantic Ima ge Segmentati on. 《arXiv： 210 6.04108v3》 .2021,第1-12页.Zeyu Cheng等.Sw in-Depth: Usi ng Transformers and Multi-Scale Fusi on for Monocular-Based Depth Estimati on. 《IEEE SENSORS JOURNAL》 .2021,第21卷(第23期),第 26912-269 20页.2/2 页 2[接上页] CN 114419449 B1.一种自注意力多尺度特征融合的遥感图像语义分割方法， 其特征在于， 特征编码器 将四个阶段不同尺度大小的特征图传递给解码器， 解码 器从最后一个阶段的特征图开始上 采样并与自注意力多尺度特征融合的特征图进行叠加， 逐步进行直到和 第一阶段的特征图 尺度一样， 最后将所有尺度的特征图分别上采样至原图大小并对每个像素预测分类， 并将 四个尺度的预测结果进行融合得到最 终的遥感图像语义分割结果， 所述方法能够有效融合 不同尺度的遥感语义特 征， 提升分割性能， 具体步骤 包括： 步骤1： 构建遥感语义分割网络， 所述分割网络包括特征编码器和解码器， 预先在 ImageNet数据集上训练Swin ‑T网络， 将训练后的Swin ‑T网络作为编码器， 采用自注意力多 尺度特征融合的金字塔结构网络作为 解码器； 步骤2： 所述特征编码器包括依次连接的Swin ‑T四个模块， 具体为Swin ‑T第一模块、 Swin‑T第二模块、 Swin ‑T第三模块、 Swin ‑T第四模块， 所述Swin ‑T四个模块依次对输入遥感 图像进行 特征采集， 最后得到四个不同尺度大小的特 征图， 并传递给解码器； 步骤3： 所述解码器包括三个自注意力多尺度特征融合模块， 具体为第一特征融合模 块、 第二特征融合模块、 第三特征融合模块， 将所述Swin ‑T第一模块、 所述Swin ‑T第二模块、 所述Swin ‑T第三模块生 成的特征图均输入到三个特征融合模块中， 三个特征融合模块根据 当前阶段的尺度和通道数进行 特征融合， 具体为： 步骤31： 所述第一特征融合模块以Swin ‑T第一模块生成的特征图尺度和通道数为标 准， 将Swin ‑T第二模块生成的特征图进行2倍上采样、 通道数减半的操作， 将Swin ‑T第三模 块生成的特 征图进行4 倍上采样、 通道数降为1/4的操作； 步骤32： 所述第二特征融合模块以Swin ‑T第二模块生成的特征图尺度和通道数为标 准， 将Swin ‑T第一模块生 成的特征图经过特征调整模块进行通道数和尺度的处理， 将Swin ‑ T第三模块生成的特征图进行2倍上采样、 通道数减半的操作， 所述特征调整模块的工作方 式具体为： 对输入 特征图进行2*2的最大池化， 再使用1*1卷积调整通道数， 接着使用两个3* 3卷积对特 征进行选择提取， 并使用残差连接避免梯度爆炸和 消失， 加快网络收敛； 步骤33： 所述第三特征融合模块以Swin ‑T第三模块生成的特征图尺度和通道数为标 准， 将所述Swin ‑T第一模块和所述Swin ‑T第二模块生 成的特征图经过特征调整模块进行通 道数和尺度的处 理； 步骤4： 所述特征融合模块还包括计算注意力模块， 将每个特征融合模块中调整后的三 个特征图做全局平均池化， 将池化后的特征图拼接起来计算自注意力， 然后将计算自注意 力的结果按照相同的方式拆分得到三个相关性分数， 将所述三个相关性分数与各自全局池 化前的特征图相乘， 最后把相乘后的特征图在通道维度拼接并调整通道数和当前阶段通道 数一致； 步骤5： 对每 个像素进行 预测分类， 具体为： 将Swin‑T第四模块生成的特征图进行二倍上采样后与第三特征融合模块输出的特征 图进行叠加， 将第三特征融合模块叠加后的特征图进 行二倍上采样后与第二特征融合模块 输出的特征图进 行叠加， 将第二特征融合模块叠加后的特征图进 行二倍上采样后与第一特 征融合模块输出的特征图进 行叠加， 将三个叠加后的特征图和所述Swin ‑T第四模块生成的 特征图均上采样至原图大小后对每个像素进 行预测分类， 最后 将四个尺度的预测结果进 行 融合得到最终的遥感语义分割结果。权　利　要　求　书 1/2 页 2 CN 114419449 B 3