(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210577308.7 (22)申请日 2022.05.25 (71)申请人 西北工业大 学 地址 710072 陕西省西安市碑林区友谊西 路127号 (72)发明人 蒋雯　巫浩然　耿杰　 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/36(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度差分特征注 意力机制的SAR图像 变化检测方法 (57)摘要 本发明公开了一种基于多尺度差分特征注 意力机制的SAR图像变化检测方法， 包括以下步 骤： 将T1时刻和T2时刻的合成孔径雷达( SAR)图 像滤波后生成差分图像； 利用层次聚类算法处理 差分图得到部分像素点的伪标签； 将少量有伪标 签的数据和无标签的数据共同输入网络实现半 监督； 构建孪生卷积网络模块， 提取T1和T2时刻 图像的多尺度差分特征； 添加向量映射操作， 将 多尺度差分特征图转换为向量集合； 添加多头自 注意力模块对向量化特征编码， 通过全连接层分 类， 获取SAR图像的变化检测结果。 本发明的方 法， 全局都没有使用变化检测参考图， 利用半监 督的方法训练网络； 同时网络本身可以有效提取 双时图像对的多尺度差分特征， 并且通过多头注 意力模块增强对 特征图全局信息的有效利用， 进 行提高检测的性能。 权利要求书4页 说明书8页 附图1页 CN 114926746 A 2022.08.19 CN 114926746 A 1.一种基于多尺度差分特征注意力机制的SAR图像变化检测方法， 其特征在于， 包括以 下步骤： 步骤一、 将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格 式的样本： 步骤101、 对双时相SAR图像对进行中值滤波并归一 化得到I1和I2； 步骤102、 对于I1和I2各个像素， 选取以它为中心、 大小为n ×n的超像素块作为总样本集 合M， 利用中心点相邻像素点特 征来增强判别能力； 步骤二、 利用层次聚类算法生成每 个像素点的伪标签， 并划分训练集、 测试集、 验证集； 步骤201、 利用步骤101中得到的I1和I2通过对数比算子生成差异图DI， 对数比算子可以 有效抑制SAR图像的相干斑噪声； 步骤202、 利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析， 得到总样 本集M中对应位置样本的伪标签， 聚类为 “变化”、“不变”、 以及“不确定”三类； 步骤203、 从伪标签为 “变化”和“不变”的样本中随机选取T个样本并结合所有伪标签为 “不确定”的样本共同作为训练集， 其中将前者作为有 标签数据， 后者作为无标签数据， 每一 个批次中有标签数据为X＝((xb,pb),b∈(1, …,B))， 无标签数据为U＝((ub),b∈(1, …, B))， pb为预分类的伪标签， B为 一个批次数据的数量， 将所有的无 标签数据作为测试集； 步骤三、 构建孪生卷积网络模块， 提取T1和T2时刻图像的多尺度差分特 征： 步骤301、 构建多尺度卷积网络， 包括4个卷积单元， 分别是Common  Conv1、 Common   Conv2、 Inception Module1、 I nception Module2； 步骤302、 采用双分支多尺度卷积网络作为孪生网络， 分别提取T1和T2时刻SAR图像的特 征， 对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征 差分模块的计算式如下： 其中， 和 分别代表第i级编码器T1时刻和T2时刻像素块的特征图， BN代表批标准化 操作， GELU是激活函数， Co nv2D3×3代表深度可分离卷积； 步骤303、 将各级差分特征融合后得到多尺度的差分特征FM， C为通道数， n 为超像素块的大小， 双分支之间共享参数， 使得模 型能够获得分布更一致的特征图， 同时突 出特征图间的不同， 并且 模型的网络参数也极大减少； 步骤四、 构建Transformer编码器处理孪生网络输出的多尺度差分特征， 从而得到分类 结果： 步骤401、 将孪 生网络输出的多尺度差分特征FM进行向量化操作， 其维度转化为 其 中N＝n×n， N为像素数目， 这样 每对超像素块的多尺度差 分特征就映射为向量集合a， 即a＝ {a1,...,aN}； 步骤402、 向a中插入一个专门用于变 化判别的分类向量class， 从而得到向 量集合b， 并且为了引入位置信息， 让b加上位置编码 得到 其中 位置编码的维度和b一 致；权　利　要　求　书 1/4 页 2 CN 114926746 A 2步骤403、 将上一步得到的向量集合 通过Transformer编码器， 输出维度 为 其 中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编 码器； 步骤404、 从上一步Transformer编码器的输出中提取分类向量class， 接着通过全连接 层进行分类， 得到图像各个类别的得分， 得分最高的类别即为预测的结果。 全连接层的维度 为 步骤五、 设计半监 督训练损失函数， 充分利用无 标签数据的信息： 步骤501、 对于每一个批次中有标签数据xb， 做一次数据增强， 即 同样 对于无标签数据ub， 做两次数据增强， 即 其中k＝1为弱增 强， k＝2为强增强； 步骤502、 上一步将得到的 送入模型得到对应的预测标签概率qb,k， 为了让模型有更 加准确的预测， 首先对弱增强后分类概率qb ,1应用锐化算法得到 然后利用 得到更为 准确的预测标签； 步骤503、 将所有带标签的增强数据 和所有无标签样本 以及 对应的预测标签数据 进行混合， 随机打乱后得到数 据集W； 步骤504、 将上一步得到的 和W做数据扩充操作得到增广标记数据X ′， 同样的将 和W 做数据扩充操作得到增广无 标记数据U ′； 步骤505、 对于增广得到的数据X ′和U′分别计算损失项 和 步骤506、 考虑负样本较多的情况， 模型更容易将所有样本预测为同一类， 因此添加正 则项， 来使得模型将 样本不含偏见地预测为两类， 正则项公式如下： 其中πc是一个先验分布， c＝num_classes， x为增广后的所有数据， 和 由上一步得到， 为模型的输出， θ 为模型参数， 这样模型完整的损失函数 为： 其中λu和 λr为可调超参数， 误差反向传播更新网络参数， 训练完毕后， 保存网络参数； 步骤六、 测试网络的性能， 加载上一步保存的网络参数， 将步骤102总样本集合M输入到 网络中生成结果图， 结果图与变化检测参 考图进行分析比较。 2.根据权利要求1所述的一种基于多尺度差分特征注意力机制的SAR图像变化检测方 法， 其特征在于： 其 步骤201中的对数比算子公式为： DI＝|lg(I1+1)‑lg(I2+1)|权　利　要　求　书 2/4 页 3 CN 114926746 A 3