(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210297922.8 (22)申请日 2022.03.25 (71)申请人 辽宁师范大学 地址 116000 辽宁省大连市沙河口区黄河 路850号 (72)发明人 王相海　程伟　李艺　宋若曦　 宋传鸣　 (74)专利代理 机构 大连非凡专利事务所 212 20 专利代理师 闪红霞 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于时-空-谱注意力机制的多时相 高光谱 影像变化检测方法 (57)摘要 本发明公开了一种基于时 ‑空‑谱注意力机 制的多时相高光谱影像变化检测方法， 首先， 引 进了一种空间域和光谱域双分支神经网络框架， 通过双分支分别提取高光谱差分影像的空间域 特征和光谱域特征， 从而利用高光谱影像多维度 之间的相关性以提高变化检测的准确性； 其次， 在空间域分支上引入多尺度金字塔空间注意力 机制， 通过空洞卷积来扩大卷积的感受野， 以获 取多尺度上下文信息， 并且通过空间注意力机制 对感兴趣区域分配更多权重， 从而抑制不必要的 特征。 在光谱域上引入时 ‑谱注意力模块， 从而刻 画多时相高光谱差分影像不同位置地物光谱之 间的关联。 实验结果表明， 本发明有效提高了变 化检测的精度。 权利要求书7页 说明书16页 附图4页 CN 114663779 A 2022.06.24 CN 114663779 A 1.一种基于时 ‑空‑谱注意力 机制的多时相高光谱影像变化检测方法， 其特征在于按如 下步骤进行： 步骤1.建立并初始化用于多时相高光谱影像变化检测的卷积神经网络Nmhi， 所述Nmhi包 含2个用于特 征提取的子网络Nfeaturespa和Nfeaturespe以及1个用于变化检测的子网络NCD； 步骤1.1建立并初始化子网络Nfeaturespa， 所述子网络Nfeaturespa含有4组卷积层， 分别为 Conv1_0、 Co nv1_1、 Co nv1_2和Co nv1_3， 以及自定义模块MP SA和1组最大池化层MaxPo ol1； 所述Conv1_0包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有100个大小为3 ×3的卷积核， 每个卷积核以1个像素为步长进行卷积运算， 并选用参 数为0.2的非线性激活函数LeakyReLU作为激活函数进行运 算； 所述Conv1_1包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有100个大小为3 ×3的卷积核， 每个卷积核以1个像素为步长进行卷积运算， 并选用参 数为0.2的非线性激活函数LeakyReLU作为激活函数进行运 算； 所述Conv1_2包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有200个大小为1 ×1的卷积核， 每个卷积核以1个像素为步长进行卷积运算， 并选用参 数为0.2的非线性激活函数ReLU作为激活函数进行运 算； 所述Conv1_3包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有200个大小为1 ×1的卷积核， 每个卷积核以1个像素为步长进行卷积运算， 并选用参 数为0.2的非线性激活函数LeakyReLU作为激活函数进行运 算； 所述自定义模块MPSA模块包含2组并行的卷积层， 分别为Conv1_11和Conv1_12， 以及自 定义模块 LPAM和自定义连接层Co ncatenate1； 所述Conv1_11包含一层 卷积操作， 含有256个空洞率为3、 大小为3 ×3的卷积核， 每个卷 积核以1个 像素为步长进行 卷积运算； 所述Conv1_12包含一层 卷积操作， 含有256个空洞率为4、 大小为3 ×3的卷积核， 每个卷 积核以1个 像素为步长进行 卷积运算； 所述自定义模块 LPAM包含3组并行的卷积层， 分别为Co nv1_Q、 Co nv1_K和Co nv1_V， 其中： 所述Conv1_Q包含一层卷积操作， 含有32个大小为1 ×1的卷积核， 每个卷积核以1个像 素为步长进行 卷积运算； 所述Conv1_K包含一层卷积操作， 含有32个大小为1 ×1的卷积核， 每个卷积核以1个像 素为步长进行 卷积运算； 所述Conv1_V包含一层 卷积操作， 含有256个大小为1 ×1的卷积核， 每个卷积核以1个像 素为步长进行 卷积运算； 所述自定义连接层Co ncatenate1用于连接 两个特征； 所述最大池化层MaxPool1包含1层池化操作、 2层全连接操作、 2层激活操作、 2层 Dropout操作和1层Flatten操作， 其中， 池化层以大小为2 ×2的池化核进行最大池化运算， 2 层全连接层分别有1024和512个输出单元， 并选用ReLU作为激活函数进 行运算， 再执行参数 为0.5的Dropout操作， 最后通过 Flatten操作得到空间域特 征Fspa； 步骤1.2.建立并初始化子网络Nfeaturespe， 该网络包含1组自定义模块LCAM， 2组卷积层 Conv2_0、 Co nv2_1以及1组最大池化层MaxPo ol2； 所述自定义 LCAM模块用于计算 光谱注意力特 征；权　利　要　求　书 1/7 页 2 CN 114663779 A 2所述Conv2_0包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有32个大小为 11的一维卷积核， 每个卷积核以1个像素为步长进 行卷积运算， 并选用参 数为0.2的非线性激活函数LeakyReLU作为激活函数进行运 算； 所述Conv2_1包含1层卷积操作、 1层B atchNorm归一化操作和1层激活操作， 其中， 卷积 层含有96个大小为3的一维卷积核， 每个卷积核以1个像素为步长进行卷积运算， 并选用参 数为0.2的非线性激活函数LeakyReLU作为激活函数进行运 算； 所述最大池化层MaxPool2包含1层池化操作和1层 Flatten操作， 其中， 池化层以大小为 2的一维池化核 进行最大池化 运算， 再通过 Flatten操作得到光谱域特 征Fspe； 步骤1.3.建立并初始化子网络NCD， 该网络包含1组自定义连接层Concatenate2， 1组参 数为0.5的Dropout操作以及1组全连接层Dense1； 所述自定义连接层Co ncatenate2用于连接 两个特征； 所述全连接层Dense1有2个分类单元， 分别代表变化与不变， 并采取Softmax作为激活 函数； 步骤2.输入高光谱影像的训练集X、 人工已标注的像元点坐标集和标签集， 对Nmhi进行 训练； 步骤2.1.定义 和 为分别于时间t1和t2获取的同一地区双 时相高光谱遥感影像， 大小为M ×N×D， 其中M和N分别表示图像的长度和宽度， D为图像的通 道数； 通过公式(1)获得多时相高光谱差分影 像 DI＝|log(I2‑I1)| (1) 步骤2.2.根据人工已标注的像元点坐标集， 提取标签的像元点集合XH＝{xH， i|i＝ 1， ...， m}， 其中xH， i表示XH中的第i个 像元点， m表示具有标签的像元点总数； 步骤2.3.根据公式(2)对XH进行标准化处理， 得到 其中， 表示标准 化后的具有标签的高光谱影 像像元点集合， 表示 的第i个像元点； 步骤2.4.以 的每个像 元点为中心将X分割成一系列大小 为r×r的高光谱像 元块集合 XH1， 其中r为预设的高光谱像元块长度和宽度； 步骤2.5.将XH1中的每个像元块进行 上下翻转， 得到高光谱像元块 集合XH2； 步骤2.6.对XH1中的每个像元块添加方差为0.01的高斯噪声， 得到高光谱像元块集合 XH3； 步骤2.7.将XH1中的每个像元块以其中心点为旋转中心顺时针随机旋转z ×90度， 得到 高光谱像元块 集合XH4， 其中z表示从集 合{1， 2， 3} 中随机选取出的数值； 步骤2.8.令 将 作为变化检测神经网络的 训练集， 并将训练集中的样 本整合为元 组 的 形式作为网络数据输入， 其中， 表示训练集中高光谱影像像元块， Yi表示 对应 的真实类别标签， 令迭代次数iter ←1， 执行步骤2.9至步骤2.13； 步骤2.9采用子网络Nfeaturespa提取训练集的空间特 征；权　利　要　求　书 2/7 页 3 CN 114663779 A 3