(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211237501.2 (22)申请日 2022.10.11 (71)申请人 水利部交通 运输部国家能源局南京 水利科学研究院 地址 210000 江苏省南京市广州路2 23号 (72)发明人 许怡　施睿　王高旭　张丽丽　 吴巍　张轩　李岱远　雷四华　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 张帆 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 20/70(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/26(2022.01) (54)发明名称 融合区域语义与像素特征的遥感影像变化 检测方法及系统 (57)摘要 本发明提出了一种融合区域语义与像素特 征的遥感影像变化检测方法及系统， 属于遥感影 像变化检测的技术领域。 首先， 构建基于孪生网 络架构的多尺度特征融合变化检测网络模型， 利 用端到端深度学习完成双时相遥感影像的直接 变化检测； 其次， 利用语义分割模型赋予检测对 象的区域语义， 借助对象语义的区域连续属性， 结合集合运算对直接变化检测结果的边缘进行 逐像素分类优化， 减少变化检测结果中的粘 连等 误检， 提升双时相遥感影像变化检测精度。 本发 明通过将区域语义和像素特征结合， 既能基于深 度学习直接完成变化检测区域的识别， 又解决了 直接变化检测中的多类误检问题， 高精度地实现 了双时相影 像的端到端变化检测。 权利要求书3页 说明书10页 附图4页 CN 115331087 A 2022.11.11 CN 115331087 A 1.一种融合区域语义与像素 特征的遥感影 像变化检测方法， 其特 征在于， 包括： 步骤1、 构建遥感影 像数据集； 步骤2、 构建基于孪生网络架构的多尺度 特征融合变化检测网络模型， 并接收遥感数据 集进行数据分析； 步骤3、 基于对象语义的区域连续属性和基于并集、 交集运算， 对数据分析结果进行优 化； 步骤4、 根据优化结果获取最终检测到的变化内容， 并输出。 2.根据权利要求1所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 所述遥感数据集被划分为变化检测数据集和语义分割 数据集， 用于对所述变化 检测网络模型进行性能训练； 划分遥感数据集的过程中， 具体包括以下步骤： 步骤1.1、 读取历史遥感影 像数据； 步骤1.2、 对所述历史遥感影 像数据进行 校正预处 理； 步骤1.3、 对校正预处 理后的数据集进行配准； 步骤1.4、 按照预设划分比例对配准后的影像数据进行缩放， 获得不同尺度下的配准影 像； 步骤1.5、 对不同尺度下的配准影 像进行尺寸裁 剪， 获得同一尺寸的配准影 像数据； 步骤1.6、 通过对比配准影像中的差异性， 对变化区域进行像素级标注和对象语义标 注； 步骤1.7、 采用几何形变和添加噪声的方式对遥感影像数据集进行数据增强， 并按照预 设比例， 划分变化检测数据集和语义分割数据集。 3.根据权利要求1所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 构建所述基于孪生网络架构的多尺度特征融合变化检测网络模 型的过程中进一 步包括以下步骤： 步骤2.1、 构建基于 孪生网络架构的多尺度残差网络模块； 步骤2.2、 构建基于嵌套型多尺度自注意力机制的上 下文信息融合模块； 步骤2.3、 构建特 征度量模块； 所述基于孪生网络架构的多尺度残差网络模块用于基于权值共享模式利用孪生结构， 并行提取双时相遥感影像的不同尺度的特征， 并分别将 每个时相遥感影像提取的多个尺度 的特征图进行融合， 最后再将双时相 遥感影像融合后的特征进行通道拼接， 作为下一个模 块的输入； 所述基于嵌套型多尺度自注意力机制的上下文信息融合模块用于接收基于孪生网络 架构的多尺度 残差网络模块输出的数据， 并提取不同层次空间上下文信息和尺度上下文信 息； 所述特征度量模块用于利用对比损失函数进行双时相影像差异度量， 以及在模型训练 阶段用于反向传播优化网络参数； 将经过上下文信息融合网络得到的特征图分解为双时相 遥感影像的特征图， 并使用双线性差值将其尺寸调整到输入影像的大小， 根据这两个特征 图逐像素计算出两个时相影像的距离映射， 依距离映射逐像素识别出变化区域与未变化区 域， 实现像素级的遥感影 像变化检测识别。权　利　要　求　书 1/3 页 2 CN 115331087 A 24.根据权利要求3所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 所述基于孪生网络架构的多尺度 残差网络模块包括： 输入模块、 特征提取模块和 融合模块； 所述输入 模块用于在孪生结构中同时输入匹配后的双时相遥感影 像； 所述特征提取模块包括： 输入层、 卷积层、 残差层和池化层， 用于提取双时相遥感影像 的数据特 征， 并按照需求形成不同大小的特 征图后输出至融合模块中； 所述融合模块用于将单时相遥感影像不同尺度上的特征进行通道融合， 并输入到不同 的卷积层中降低融合后特 征图的通道数。 5.根据权利要求3所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 为了增强从整体到细节不同层次空间上下文信息和尺度上下文信息的提取能 力， 所述基于嵌套型多尺度自注意力机制的上下文信息融合模块整体被划分为三层嵌套两 次融合的数据处 理结构； 最内层使用自注意力 机制通过计算特征张量的全局权值对全局特征进行加权求和， 捕 捉图像全方位的空间上 下文信息； 中间层包括 四个并行的数据处理分支， 使用多尺度自注意力 机制对孪生结构中提取的 特征图进行尺度上 下文信息的提取与融合； 最外层包含记录图像位置信 息的特征图拼接结构， 通过将对应的特征图进行拼接并融 合， 以扩大网络的感受野。 6.根据权利要求3所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 所述特征度量模块利用对比损失函数进行双时相 影像差异度量， 且在模型训练 阶段用于反向传播优化网络参数； 所述对比损失函数的表达式为： 式中， 表示双时相影像对应的样本特征之间的欧氏距离； 表示两个样本与 标签匹配 情况的返回值， 若两个样本在标签中匹配， 则 ； 若两个样本在标签中不匹配， 则 ； 表示预先设置的阈值； 表示样本的数量。 7.根据权利要求2所述的一种融合区域语义与像素特征的遥感影像变化检测方法， 其 特征在于， 对数据分析 结果进行优化的过程具体包括以下步骤： 步骤3.1、 利用语义分割数据集完成语义分割模型的训练， 并获取双时相遥感影像数据 集中的对象语义； 步骤3.2、 基于对象语义的区域连续属性和基于并集运算， 对初步变化检测结果进行初 步优化； 步骤3.3、 在初步优化的基础上， 基于对象语义的区域连续属性和基于交集运算进行再 次优化， 实现变化区域逐像素分类优化， 剔除直接变化检测中出现的粘连误检。 8.一种融合 区域语义与像素特征的双时相遥感影像变化检测系统， 用于实现如权利要 求1‑7任意一项所述的遥感影 像变化检测方法， 其特 征在于， 包括以下模块：权　利　要　求　书 2/3 页 3 CN 115331087 A 3