(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221040969 2.X (22)申请日 2022.04.19 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 李蒙蒙　刘宣广　汪小钦　陈芸芝　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 蔡学俊　薛金才 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于孪生多任务网络的城市建筑物变 化遥感检测方法 (57)摘要 本发明提供了一种基于孪生多任务网络的 城市建筑物变化遥感检测方法， 包括以下步骤： 步骤S1： 选 择覆盖研究区域的双时相高分辨率遥 感影像； 步骤S2： 构建多任务特征提取器； 步骤 S3： 基于步骤S2， 构建特征差异度量模块； 步骤 S4： 建立联合损失函数； 步骤S5： 构建遥感影像数 据集进行样本迁移， 制作模型训练样本库； 步骤 S6： 训练孪生多任务模型。 应用本技术方案可解 决传统孪生神经网络在遥感影像变化检测结果 中出现的检测边界与实际边界吻合度较低的问 题， 减少由于高分辨率遥感影像的空间位移问题 而造成的错检漏检 现象， 而且端对端的模型架构 有效提升了变化检测效率， 为高效获取高分辨率 影像中精细 的城市建筑物变化信息提供技术支 撑。 权利要求书3页 说明书6页 附图2页 CN 114821354 A 2022.07.29 CN 114821354 A 1.一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 基于孪生 神经网络和多任务学习， 包括以下步骤： 步骤S1： 选择覆盖研究区域的双时相高分辨 率遥感影 像， 并对遥感影 像进行预处理； 步骤S2： 基于卷积神经网络， 构建多任务特征提取器， 同时提取遥感影像的区域特征 Fmask和边界特 征Fcontour； 步骤S3： 基于步骤S2， 构建特征差异度量模块， 分别计算双时相影像的区域特征差异度 Dmask及边界特 征差异度Dcontour； 步骤S4： 建立联合损失函数， 在模型训练阶段， 使用联合损失函数约束步骤S2、 步骤S3 不断调优； 步骤S5： 收集用于高分辨率遥感影像变化检测的公开影像数据集， 构建对抗神经网络 对公开遥感影 像数据集进行样本 迁移， 制作模型训练样本库； 步骤S6： 训练孪生多任务模型， 并将训练好的模型用于步骤S1所获遥感影像的城市建 筑物变化检测。 2.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S1具体包括以下步骤： 步骤S11： 选择存在建筑物变化区域的两幅不同时相高分辨率遥感影像， 并对遥感影像 进行预处理； 主要包括： 正 射校正、 多光谱 ‑全色融合操作； 步骤S12： 对步骤S1 1获得的双时相遥感影 像进行地理配准。 3.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S2具体包括以下步骤： 步骤S21： 基于卷积神经网络， 使用卷积层代替全连接层， 构建编码器； 编码器为两个任 务共用， 编码器由四部分构成， 每部分均包 含一个空洞卷积层、 池化层和激活函数； 步骤S22： 使用多个下采样模块构建区域解码器和边界解码器， 并在各解码器 中采用跳 层连接机制， 将双时相图像的深浅层特 征结合； 步骤S23： 基于步骤S21、 S22构建多任务特征提取器； 并在特征提取器中加入注意力机 制； 步骤S24： 使用两个权值共享的多任务特征提取器搭建孪生神经网络， 自动学习不同时 刻遥感影 像T1和T2的图像区域特 征Fmask和边界特 征Fcontour。 4.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S3具体包括以下步骤： 步骤S31： 分别计算图像区域特征Fmask、 边界特征Fcontour之间的欧氏距离， 获取距离图 Dmask和Dcontour； 计算像素级特 征间差异度DP采用下式： 式中， i,j代表像素的坐标值， 代表第一时相的遥感影像在指定位置像素的特征值， 代表第二时相的影 像在指定位置像素的特 征值； 步骤S32： 对步骤S 31获得的距离图Dmask、 Dcontour进行卷积操作， 使用Softmax层完成特征权　利　要　求　书 1/3 页 2 CN 114821354 A 2差异度量模块构建。 5.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S4具体包括以下步骤： 步骤S41： 使用负对数似然损失作为多任务特征提取器模块中区域、 边界特征提取任务 的损失函数， 特 征提取部分的总损失函数公式为： Ltotal＝ λ1Lmask+λ2Lcontour 式中， Ltotal表示特征提取部分的总损失值， λ1、 λ2是各部分损失的权重参数； 具体的单项 损失计算公式为： 式中， Lmask、 Lcontour分别表示区域提取和边界提取的像素分类误差； x是图像空间Ω中的 像素位置； Pmask(x； lmask(x))、 Pcontour(x； lcontour(x))表示Softmax激活函数对真标签Lmask和 Lcontour的预测概 率； 步骤S42： 特 征差异度量模块使用Focal  Loss函数： LFocalLoss＝‑α(1‑ρt)λlog( ρt) 式中， LFocalLoss表示Focal  Loss函数， α 是来控制正负样本对总损失的共享权重， λ为可 调的聚焦参数， p为变化 概率； 步骤S43： 设置 孪生多任务神经网络的损失函数LSiam_mul_task为： LSiam_mul_task＝θ1Ltotal+θ2LFocalLoss 式中， θ1、 θ2表示各部分权 重比例， Ltotal为特征提取部分的损失函数。 6.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S5具体包括以下步骤： 步骤S51： 选择高分辨率遥感影像变化检测公开数据集， 挑选城市建筑物场景下的训练 样本； 步骤S52： 对研究区的高分辨率影像进行正射校正、 影像融合预处理操作， 并得到RGB影 像； 步骤S53： 基于步骤S1处理后的影像制作少量城市建筑物变化数据集， 并与公开数据集 共同训练对抗神经网络， 使用训练充分的对抗神经网络生成伪数据集， 进行样本层面的迁 移学习； 步骤S54： 使用步骤S53获取的伪数据集， 结合目标域的城市建筑物变化检测数据集， 构 建模型训练样本库， 以训练孪生多任务变化检测网络 。 7.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法， 其特征在于， 步骤S6具体包括以下步骤： 步骤S61： 使用步骤S5获取的样本库， 设置 网络超参数， 训练孪生多任务变化检测模型，权　利　要　求　书 2/3 页 3 CN 114821354 A 3