(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210521072.5 (22)申请日 2022.05.13 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 李旭　郭志峰　徐启敏　刘锡祥　 朱建潇　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 许小莉 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 3/40(2006.01) (54)发明名称 基于多光谱图像融合的森林非结构化场景 分割方法 (57)摘要 本发明公开了一种基于多光谱图像融合的 森林非结构化场景分割方法， 该方法针对森 林非 结构化场景背景复杂、 多光线和阴影干扰等情 况， 引入增强植被指数(EVI)数据， 设计了并行双 编码结构来提取 RGB与EVI的特征， 并在编码过程 中形成多模态互补特征。 此外， 编码阶段还利用 扩张卷积增加了网络的感受野， 优化了特征提取 过程。 接着将解码特征与编码产生的融合特征二 次融合， 得到多光谱融合卷积神经网络， 而后对 该网络进行训练并输入RGB与EVI图像实现森林 非结构化场景的语义分割。 本发 明有效解决了基 于RGB图像的非结构化 分割方法容易出现适应性 差、 误分割的问题， 提高了森林非结构化场景语 义分割的准确性和鲁棒 性。 权利要求书3页 说明书9页 附图2页 CN 114821064 A 2022.07.29 CN 114821064 A 1.基于多光谱图像融合的森林非结构化场景分割方法， 包括以下步骤： 步骤1： 建立森林非结构化场景多光谱分割数据集； 步骤2： 构建多光谱特征融合编码网络， 首先， 设计两个并行的编码器支路， 分别用于 RGB数据和EV I数据的特征提取， 在编码过程中， RGB支路会分级融合EVI支路的层 级特征， 得 到多模态融合特征； 然后 构建跳跃连接结构将编码阶段的融合特征与解码特征进 行二次融 合， 包括以下子步骤： 子步骤1： 设计EVI支路编码结构， 具体包括： (1)设计初始化卷积层， 初始化卷积层数量为1， 其中卷积核数量为16， 卷积核大小为7 ×7， 步长为2； (2)设计残差模块， 残差模块的数量为3， 残差模块1～3的网络结构一致， 其中卷积核数 量分别为64、 128、 256， 卷积核数量以n表示， 残差模块包括标准卷积模块、 分离残差模块和 扩张卷积模块， 这 三个模块构建如下： ①构建标准卷积模块： 设计标准卷积： 标准卷积数量为2， 其中卷积核数量为n， 卷积核大小为3 ×3， 步长分别 为2、 1； 构建标准卷积模块a ‑1： 用n个3 ×3的标准卷积核与输入特征图做卷积， 步长为2， 再经 过BN层和Re  LU激活， 输出 特征尺寸为输入的1/2； 构建标准卷积模块a ‑2： 用n个3 ×3的卷积核与标准卷积模块a的特征图做卷积， 步长为 1， 再经过BN层和Re  LU激活， 得到维度不变的特 征图； 构建标准卷积块： 级联标准卷积模块a ‑1和标准卷积模块a ‑2得到标准卷积块， 输出特 征尺寸为输入的1/2； ②构建分离残差模块 设计分离卷积： 标准分离数量为4， 其 中卷积核数量为n， 卷积核大小分别为3 ×1， 1×3、 3×1， 1×3， 步长均为1； 构建分离残差a ‑1： 用n个3 ×1的卷积核与标准卷积块的输出特征图做卷积， 步长为1， 再经过BN层和ReLU激活， 得到维度不变的特 征图； 构建分离残差a ‑2： 用n个1 ×3的卷积核与分离残差a ‑1的输出特征图做卷积， 步长为1， 再经过BN层和ReLU激活， 得到维度不变的特 征图； 构建分离残差a ‑3： 用n个3 ×1的卷积核与分离残差a ‑2的输出特征图做卷积， 步长为1， 再经过BN层和ReLU激活， 得到维度不变的特 征图； 构建分离残差a ‑4： 用n个1 ×3的卷积核与分离残差a ‑3的输出特征图做卷积， 步长为1， 再经过BN层和ReLU激活， 得到维度不变的特 征图； 最后将标准卷积块的输出特征图与分离残差a ‑4的输出做加法， 得到分离残差模块的 输出； ③构建扩张残差模块 设计扩张卷积层， 扩张卷积层数量为2， 扩张率分别为3、 5， 卷积核数量为n， 卷积核大小 均为3×3， 步长均为1； 构建扩张残差模块a ‑1： 用n个3 ×3的标准卷积核与分离残差模块的输出特征图做卷 积， 步长为1， 再 经过BN层和Re  LU激活， 得到维度不变的特 征图；权　利　要　求　书 1/3 页 2 CN 114821064 A 2构建扩张残差模块 a‑2： 用n个3 ×3的卷积核与扩张残差模块 a‑1的特征图做卷积， 步长 为1， 再经过BN层和Re  LU激活， 得到维度不变的特 征图； 最后将分离残差模块的输出特征图与扩张残差模块a ‑2的输出做加法， 得到扩张残差 模块的输出； ④构建残差模块1： 用n＝64的标准卷积模块与A/2 ×A/2像素的初始化卷积层输出做卷积， 得到维度 为A/4 ×A/4×64的特征图； 用n＝64的分离残差模块与A/4 ×A/4像素的标准卷积模块输出做卷积， 得到维度 为A/4 ×A/4×64的特征图； 用n＝64的扩张残差模块与A/4 ×A/4像素的分离残差模块输出做卷积， 得到维度 为A/4 ×A/4×64的特征图； ⑤构建残差模块2： 用n＝128的标准卷积模块与A/4 ×A/4像素的残差模块1的输出做卷积， 得到维度 为A/8 ×A/8×128的特征图； 用n＝128的分离残差模块与A/8 ×A/8像素的标准卷积模块输出做卷积， 得到维度 为A/ 8×A/8×128的特征图； 用n＝128的扩张残差模块与A/8 ×A/8像素的分离残差模块输出做卷积， 得到维度 为A/ 8×A/8×128的特征图； ⑥构建残差模块3： 用n＝256 的标准卷积模块与A/8 ×A/8像素的残差模块2的输出做卷积， 得到维度为A/ 16×A/16×256的特征图； 用n＝256的分离残差模块与A/16 ×A/16像素的标准卷积模块输出做卷积， 得到维度 为 A/16×A/16×256的特征图； 用n＝256的扩张残差模块与A/16 ×A/16像素的分离残差模块输出做卷积， 得到维度 为 A/16×A/16×256的特征图； (3)构建EVI支路编码结构 用初始化卷积层与A ×A像素的EVI输入样本做卷积， 得到维度为A/2 ×A/2×16的特征 图a1； 初始化卷积层的输出经过残差模块1， 得到维度为A/4 ×A/4×64的特征图a2； 残差模 块1的输出经过残差模块2， 得到维度为A/8 ×A/8×128的特征图a3； 残差模块2的输出经过 残差模块3， 得到维度为A/16 ×A/16×256的特征图a4； 子步骤2： 设计RGB支路编码结构， 具体包括： (1)设计初始化卷积层， 与子步骤1的(1)一 致； (2)设计残差模块。 与子步骤1的(2)一 致； (3)构建RGB支路编码结构 用初始化卷积层与A ×A像素的RGB输入样本做卷积， 得到维度为A/2 ×A/2×16的特征 图b1； 将EVI支路所得的a1与b1做加法后 经过残差模块1， 得到维度为A/4 ×A/4×64的特征 图b2； 将EVI支路所得的a2与b2做加法后经过残差模块2， 得到维度为A/8 ×A/8×128的特征 图b3； 将EVI支路所得的a3与b3做加法后经过残差模块3， 得到维度为A/16 ×A/16×256的特 征图b4；权　利　要　求　书 2/3 页 3 CN 114821064 A 3