(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211172718.X (22)申请日 2022.09.26 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 钟燕飞　郑卓　马爱龙　王俊珏　 张良培　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种线下训练-线上学习的灾害场景地物损 毁评估方法 (57)摘要 本发明涉及一种基于线 下训练‑线上学习框 架的灾害场景地物损毁评估方法， 用于快速、 准 确的多灾害场景地物损毁评估， 支撑灾害应急响 应应用。 通过线下训练 ‑线上学习框架不断对齐 模型在未知区域、 未知灾种数据中的统计特征分 布， 克服未知区域与未知灾种带来的分布漂移问 题； 并设计了端到端的多任务灾前地物提取与灾 后损毁评估深度网络模型， 将灾前地物区域提取 与灾后地物损毁评估可微分地整合在一起， 解决 了传统损毁评估模型无法同时具备端到端训练、 推理与目标一致性预测的问题。 本发 明能够解决 现有的模型难以泛化到未知区域、 未知灾种以及 评估目标语义不一致等问题， 有效支撑准确的分 钟级城市灾害快速 应急响应 。 权利要求书3页 说明书6页 附图3页 CN 115512222 A 2022.12.23 CN 115512222 A 1.一种线下训练 ‑线上学习的灾害场景地物损毁评估方法， 其特征在于， 包括以下步 骤： 步骤1， 构建灾害场景地物损毁评估影像样本数据库， 并按比例划分为训练集、 无标注 集与验证集， 对训练集、 无标注集与验证集做归一化处理， 然后对归一化后的训练集和无标 注集进行随机数据增强处 理； 步骤2， 构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型， 并采用基于梯 度的线下训练算法求 解模型参数； 步骤3， 构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型， 并加载线下训 练获得的模型参数； 利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损 毁评估深度网络模型进行滑动平均参数 更新 步骤4， 基于训练收敛后的线上深度网络模型， 对待评估数据进行预测， 利用输出概率 获取损毁评估结果。 2.根据权利要求1所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特征在于： 步骤1中对训练集进行辐射、 几何、 尺度的数据增强处理； 对无标注集进 行随机的辐射、 几何、 尺度的数据增强处 理。 3.根据权利要求1所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特 征在于： 步骤1的具体实现包括如下子步骤： 步骤1.1， 建立 地物灾种分类 体系， 确定灾种类型与地物损毁程度体系； 步骤1.2， 根据灾种类型确定高分辨率遥感影像收集区域与 时间， 并采集相应的灾前、 灾害高分辨率遥感影像对， 根据不同灾种不同地物的损毁程度分类体系， 对影像中的感兴 趣地物进行位置与损毁程度的像素集标注， 并保留大量影像作为无标注数据， 形成灾害场 景地物损毁评估影 像样本数据库； 步骤1.3， 将灾害场景地物损毁评估影像样本数据库按一定比例划分成三个部分， 用于 模型线下训练的训练集A1， 用于线上 学习的无 标注训练集A 2与用于精度评估的测试集B； 步骤1.4， 将训练集A 1、 A2与测试集B进行归一化， 并对训练集A 1进行辐射、 几何、 尺度的 数据增强处 理； 对无标注集A2进行随机的辐射、 几何、 尺度的数据增强处 理。 4.根据权利要求1所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特 征在于： 步骤2的具体实现包括如下子步骤： 步骤2.1， 构建多任务灾前地物提取与灾后损毁评估框架， 该框架中包含特征差异化的 图像编码器， 任务差异化的上 下文提取器， 灾前地物提取与灾后损毁评估双任务 解码器； 步骤2.2， 构建特征差异化的图像编码器， 复用已有的视觉层次化卷积神经网络， 作为 单张图像的编码器， 进行特征提取， 图像编码器中共享全部卷积层权重， 对灾前、 灾后图像 分别单独构建可 学习的线性批归一 化层， 以克服上述特 征统计差异问题； 步骤2.3， 对灾前、 灾后特征图， 分别构建任务差异化的上下文提取器， 为进行空间上下 文的高效提取， 设计了一种空间压缩池化自注意力网络， 作为上下文提取器， 对灾前、 灾后 特征图增加特异性的上下文信息； 空间压缩池化自注意力网络由3个空间压缩池化自注意 力层堆叠组合而成， 每层由逐点全连接层、 归一化层、 空间压缩池化自注意力层、 残差层归 一化层以及多层感知机层构成， 其中空间压缩池化自注意力 层输入特征图X， 通过逐点全连 接层投影为3个独立的特征图Q,K,V， 并对三者分别进行层归一化运算； 利用空间平均池化权　利　要　求　书 1/3 页 2 CN 115512222 A 2运算对高维的Q， K特征图进行空间维度的8倍降维， 获得低维特征图avg(Q),avg(K)； 接着利 用低维特征图avg(Q),avg(K)进行标准多头自注意力计算， 从而获得上下文增强的特征图 Qc,接着对Qc进行层归一化并与之前的输入相加构 成残差连接， 即残差层归一化层； 同时将 残差归一化特征输入多层感知机进行线性变换， 并与输入特征图相加， 得到空间压缩池化 自注意力 层的输出特征； 此 处同时将空间压缩池化自注意力层输出特征与编码器中对应空 间分辨率的特征图进行相加， 实现细节特 征与语义特 征的互补； 步骤2.4， 构建灾前地物提取与灾后损毁评估双任务解码器， 每个任务的解码器均由1 个分层聚合器后接4层卷积层实现， 不同在于灾前地物提取子解码器的输出通道数为地物 类别数， 灾后损毁评估子解码器的输出通道数为损毁分级数； 分层聚合器旨在将多个不同 分辨率的特征， 利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和 运算， 得到一个高分辨率特征图， 用于后续任务的卷积特征表示； 为了令灾后损毁评估子解码器 获取双时相对比信息， 通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特 征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维 拼接， 再输入后续 4个卷积层提取双时相对比信息； 步骤2.5， 构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集进行基于 梯度的线下训练多个多任务 灾前地物提取与灾后损毁评估深度网络模型： L＝Lloc+Ldam 其中Lloc为灾前地物提取损失函数， 多类别通过交叉熵实现， 二类别通过二类交叉熵与 soft‑dice损失函数实现； Ldam为灾后损毁评估损失函数， 通过多类交叉熵与在线难样本挖 掘实现； 通过反向传播求解参数梯度， 从而利用神经网络优化器进行梯度下降训练网络模 型。 5.根据权利要求4所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特征在于： 已有的视觉层次化卷积神经网络为ResNet ‑50， ResNet ‑50由一个卷积 层、 4个残差模块串 联而成， 每个残差模块由1个1x1卷积、 1个3x3卷积、 1x1卷积组成， 并在输 入与卷积输出之间构造残差连接； 每 个卷积层后接可 学习的线性批归一 化层。 6.根据权利要求1所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特 征在于： 步骤3的具体实现包括如下子步骤： 步骤3.1， 在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型F1及其线 下训练的网络参数， 并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型 F2， 对训练好的参数进行动量 为0.99的滑动平均处 理， 用于新网络模型的参数初始化； 步骤3.2， 线上学习旨在令模型F2通过回归的方式渐进学习模型F1的特征表示， 充分挖 掘线下模 型已学习的知识表示， 同时利用未标注的新增数据， 线 上调整拟合的特征分布， 克 服跨灾种、 跨区域的分布漂移问题； 具体以一定批次大小输入无标注灾前灾后影像对数据 到模型F1， 并对其再一 次进行随机色彩扰动、 几何翻转、 旋转数据增强操作， 输入到模型F2； 对两个模型输出的似然作均方根误差损失计算， 并反向传播求得参数梯度， 并对模型F2进 行动量为0.99的滑动平均参数 更新， 反复迭代直至 达到收敛条件。 7.根据权利要求1所述的一种基于线下训练 ‑线上学习框架的灾害场景地物损毁评估 方法， 其特 征在于： 步骤4的具体实现包括如下子步骤： 步骤4.1， 对于新的灾前、 灾后遥感影像对， 将其进行归一化之后输入到步骤3中获得的权　利　要　求　书 2/3 页 3 CN 115512222 A 3