(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343422.3 (22)申请日 2022.03.31 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 郑建炜　冯宇超　蒋嘉伟　徐宏辉　 秦梦洁　陈婉君　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 20/10(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种联合局部表征和全局建模的双时遥感 变化检测方法 (57)摘要 本发明公开了一种联合局部表征和全局建 模的双时遥感变化检测方法， 包括： 获取双时遥 感图像对并将图像 分割为相同尺 寸的子图； 建立 对偶主干网络模 型并进行预训练； 采用预训练好 的对偶主干网络模型对子图进行特征提取， 对应 获得多尺度局部特征图和全局特征图； 对相同空 间分辨率下的局部特征图和全局特征图执行双 分支信息交叉融合操作， 获取联合表示； 对不同 空间分辨率的联合表示执行多尺度特征图融合 操作， 获取多尺度融合特征图； 将图像对中对应 子图获得的多尺度融合特征图之间依次进行差 值、 上采样和卷积变换， 获取变化检测图。 该方法 可实现更好的目标定位、 边缘细化和语义理解， 保障检测精度和泛化 性能， 数据处 理速度快。 权利要求书2页 说明书7页 附图2页 CN 114821303 A 2022.07.29 CN 114821303 A 1.一种联合局部表征和全局建模的双时遥感变化检测方法， 其特征在于： 所述联合局 部表征和全局建模的双时遥感变化检测方法包括如下步骤： S1、 获取双时遥感图像对， 将图像对中的两图像分割为若干相同尺寸的子图； S2、 建立对偶主干网络模型并进行预训练， 所述对偶主干 网络模型包括并行的CNN模型 和Transformer模型； S3、 采用预训练好的对偶主干 网络模型对子图进行特征提取， 对应获得CNN模型输出的 多尺度局部特 征图Flocal和Transformer模型输出的多尺度全局特 征图Fglobal； S4、 对相同空间分辨率下的局部特征图Flocal和全局特征图Fglobal执行双分支信息交叉 融合操作， 所述局 部特征图Flocal的尺寸记为W ×H×Llocal， 所述全局特征图Fglobal的尺寸记 为W×H×Lglobal， 其中， W为当前空 间分辨率 下局部特征图Flocal或全局特征图Fglobal的宽度， H 为当前空间分辨率下局部特征图Flocal或全局特征图Fglobal的高度， Llocal为当前空间分辨率 下局部特征图Flocal的通道深度， Lglobal为当前空间分辨率下全局特征图Fglobal的通道深度， 所述双分支信息交叉融合操作具体如下： S41、 将局部特征图Flocal和全局特征图Fglobal分别通过卷积操作统一尺寸为W ×H×d， 其 中， d为局部特 征图Flocal或全局特 征图Fglobal统一后的通道深度； S42、 线性展开局 部特征图Flocal和全局特征图Fglobal获取对应的向量组表示， 依次记为 (Qlocal,Klocal,Vlocal)和(Qglobal,Kglobal,Vglobal)， 其中， Qlocal为局部特征图Flocal的查询矩阵， Klocal为局部特征图Flocal的键矩阵， Vlocal为局部特征图Flocal的值矩阵， Qglobal为全局特征图 Fglobal的查询矩阵， Kglobal为全局特征图Fglobal的键矩阵， Vglobal为全局特征图Fglobal的值矩 阵， 尺寸均为 N×d， N＝W×H； S43、 计算局部特征图Flocal的交叉注意力输出Fcross‑local和全局特征图Fglobal的交叉注意 力输出Fcross‑global， 尺寸均为 W×H×d； S44、 将Fcross‑local和Fcross‑global沿通道方向堆叠， 并通过残差模块 获取尺寸为W×H×d的 联合表示Fcross； S5、 对不同空间分辨率的联合表示Fcross执行多尺度特征图融合操作， 获取多尺度融合 特征图ffuse， 所述多尺度融合特征图ffuse的尺寸为对应子图联合表示Fcross的最大尺寸， 记 为W1×H1×d1； S6、 将图像对中对应子图获得的多尺度融合特征图ffuse之间依次进行差值、 上采样和卷 积变换， 获取尺寸 为nW1×nH1×2的变化检测图Ffinal， 其中， n为上采样的倍数。 2.如权利要求1所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S43中， 所述局部特征图Flocal的交叉注意力输出Fcross‑local和全局特征图Fglobal的交 叉注意力输出 Fcross‑global， 计算公式如下： 其中， softmax( ·)为非线性映射 函数， T为 转置操作。 3.如权利要求1所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 114821303 A 2于： 步骤S5中， 所述多尺度特 征图融合操作具体如下： S51、 在不同空间分辨率的联合表示Fcross中按照尺寸由小到大顺序选取两种规格， 记尺 寸大的为低水平特 征图flow， 尺寸小的为高水平特 征图fhigh； S52、 对低水平特征图flow依次进行卷积操作和上采样后生成第一掩码图masklow， 所述 第一掩码图masklow与高水平特 征图fhigh进行哈达 玛积生成高水平增强特 征图fen‑high； S53、 对高水平特征图fhigh进行卷积操作后生成第二掩码图maskhigh， 所述第二掩码图 maskhigh与低水平特 征图flow进行哈达 玛积生成低水平增强特 征图fen‑low； S54、 对高水平增强特征图fen‑high和低水平增强特征图fen‑low依次进行沿通道方向堆叠 和卷积操作， 形成初始融合特 征图； S55、 判断初始融合特征图的尺寸是否为联合表示Fcross的最大尺寸， 若是， 将初始融合 特征图作为多尺度融合特征图ffuse， 否则， 将初始融合特征图归为联合表示Fcross并以该初 始融合特 征图的尺寸 为最小尺寸， 返回执 行步骤S51。 4.如权利要求3所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S52中， 所述第一掩码图masklow通过对低水平特征图flow依次进行卷积操作、 归一 化、 卷积操作和上采样生成。 5.如权利要求3所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S53中， 所述低水平特征图flow与第二掩码图maskhigh进行哈达玛积前还对其进行预 处理， 所述预处 理为依次进行 卷积操作、 归一 化和上采样。 6.如权利要求3所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S52或S5 3中， 在执 行所述哈达 玛积后还通过激活函数生成对应的增强特 征图。 7.如权利要求3所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S54中， 在执行所述卷积操作后还依次通过归一化和激活函数获取初始融合特征 图。 8.如权利要求1所述的联合局部表征和全局建模的双时遥感变化检测方法， 其特征在 于： 步骤S6中， 所述上采样为 4倍插值上采样。权　利　要　求　书 2/2 页 3 CN 114821303 A 3