(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211139339.0 (22)申请日 2022.09.19 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 冯天　张微　胡晨璐　尤宁宁　 沈骏翱　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/26(2012.01) (54)发明名称 一种基于多模态数据融合的城市洪水韧性 评价方法 (57)摘要 本发明公开了一种基于多模态数据融合的 城市洪水韧性评价方法。 本发明在城市洪水韧性 的评价任务中先进行了对两种模态的城市数据 及对应洪水韧性评价指标标签进行预处理； 然后 提出通过数据特征融合模块融合两种模态数据 的特征信息； 最后通过城市洪水韧性评价模块基 于融合特征评价城市韧性的优劣。 与传统的城市 洪水韧性评价方法相比， 本发明首次将多模态融 合的思想引入到城市洪水韧性评价任务中， 并验 证了其有效性。 权利要求书2页 说明书10页 附图2页 CN 115511280 A 2022.12.23 CN 115511280 A 1.一种基于多模态数据融合的城市洪水韧性评价方法， 其特 征在于， 包括： S1、 对目标城市按照路网进行区域划分， 形成一系列不规则区域； 在每个不规则区域内 设置若干采样点位， 并针对每个采样点位获取对应的由图像数据和文本数据组成的多模态 数据， 所述图像数据为该采样点位处的街景图像， 所述文本数据为以该采样点位为中心的 邻域空间范围内用户在社 交网络上发表的关于洪水的社交网络文本； 基于目标城市的地表 水量变化数据集， 计算每个不规则区域的洪水韧性值， 并根据所有不规则区域的洪水韧性 值的平均值作为阈值， 对每个不规则区域赋予代表洪水韧性优劣的二值化标签； 每个采样 点位的洪水韧性标签为采样点 位所在的不 规则区域对应的二 值化标签； S2、 在各采样点位的洪水韧性标签监督下， 将 目标城市的所有采样点位的多模态数据 由数据特征融合模块和城市洪水韧性评价模块组成的城市洪水韧性评价模 型中， 对城市洪 水韧性评价模型进行训练； 在城市洪水韧性评价模型中， 首先由数据特征融合模块分别对 多模态数据中的图像数据和文本数据进行特征提取， 其中街景图像在图像特征提取网络中 被分别提取了浅层特征和深层特征并通过融合得到图像特征， 而文本数据则在基于注意力 机制的预训练语言模型中被提取了文本特征， 图像特征和文本特征经过拼接后形成 融合特 征， 再将融合特征输入到城市洪水韧性评价模块中对各采样点位进行洪水韧性评价， 输出 预测的各采样点 位的洪水韧性标签； S3、 针对任一待评价点位， 获取该待评价点位对应的由图像数据和文本数据组成的多 模态数据， 并将其输入经过训练后的城市洪水韧性评价模型中， 输出待评价点位的洪水韧 性标签。 2.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 每个采样点位处的所述街景图像需经过预处理， 预处理方式为： 首先将街景图像放缩 (Resize)成同样的大小， 再进行中心裁剪， 然后进行归一化(Normalize)， 最终得到矫正后 的街景图像数据。 3.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 每个采样点位处的所述社 交网络文本需经过预 处理， 预处理方式为： 首先将文本中的停 用词和数字删除； 再基于正则表达式去除网址、 以@开头的英文 单词、 中文以及非字母字符； 最后对文本数据进行词性还原， 得到矫 正后的推特文本数据。 4.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 所述的对目标城市按照路网进行区域划分， 形成一系 列不规则区域的具体方法如下： 首 先获取目标城市内部的初级矢量路网， 再进行膨胀 处理以消除噪声并平滑边界， 之后再进 行腐蚀操作以去除路 网中不必要的细节， 最后以矢量面图的形式存储每个封闭的不规则区 域以及不 规则区域的边界经纬度坐标信息 。 5.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 对每个不规则区域赋予代 表洪水韧性优劣的二 值化标签的具体方法如下： 获取目标城市的地表水量变化数据集并对其进行去噪处理； 基于每个不规则区域的边 界经纬度坐标信息， 构建掩码(Mask)矩阵， 再利用掩膜矩阵从去噪处理后的数据集中提取 出每个不规则区域中洪水发生期间的时序数据； 针对每一个不规则区域， 计算该不规则区域中每一次洪水发生期间的韧性值， 计算公 式为：权　利　要　求　书 1/2 页 2 CN 115511280 A 2式中： t0为当前洪水发生期间该不规则区域中洪水面积首次超过面积阈值的记录时间； Q(t)为当前洪水发生期间该不规则区域中洪水面积与时间的拟合曲线， 且Q(t)的值域范围 被归一化在[0,100]范围内； t1为根据拟合曲线Q(t)计算得到的当前洪水发生期间该不规 则区域中洪水面积重新回落到面积阈值以下的时间； 针对每一个不规则区域， 对该不规则区域中所有轮次的洪水发生期间的韧性值进行平 均， 并将得到的第一平均值作为该不规则区域的洪水韧性值； 再将所述 目标城市中所有不 规则区域的洪水韧性 值进行平均， 以得到的第二平均值作为韧性阈值； 最后对每个不规则区域赋予代表洪水韧性优劣的二值化标签， 若一个不规则区域中的 洪水韧性值高于所述韧性阈值， 则赋予第一洪水韧性标签， 否则赋予第二洪水韧性标签； 其 中， 具有第一洪水韧性标签的不规则区域的洪水韧性优于具有第二洪水韧性标签的不规则 区域。 6.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 所述的数据特征融合模块中的图像特征提取网络采用ResNet  50网络模 型， 将街景图像 输入到ResNet  50网络模型中， 由ResNet  50的第一个残差块得到浅层特征， 由ResNet  50的 第四个残差块得到深层特征， 对浅层特征和深层特征进行融合得到街景图像最终的图像特 征。 7.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 所述数据特征融合模块中的基于注意力机制的预训练语言模型采用BERT (Bidirection al Encoder Representations  from Transformers)模型， 每一条社交网络 文本输入BERT模型中输出文本特 征。 8.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 所述数据特征融合模块中对图像特征与文本特征进行融合时， 先将同一个采样点位对 应的所有文本特征进行加权融合， 输出最终的文本特征， 且在进行加权融合时每一个文本 特征的权值与对应的社 交网络用户与采样点位的距离呈负相关； 然后 将图像特征与最终的 文本特征以拼接(Co ncat)方式进行融合， 得到最终融合文本信息和图像信息的融合特 征。 9.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 所述的城市洪水韧性评价模块采用线性分类器实现， 融合特征输入线性分类器中进行 二分类， 得到洪水韧性标签的预测结果。 10.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法， 其特征在 于， 每个不规则区域内， 需沿 内部路网设置采样点位； 每个采样点位处的街景图像包含前后 左右四个方向的街景， 而每 个采样点 位的邻域空间范围半径为0.5～1.5km。权　利　要　求　书 2/2 页 3 CN 115511280 A 3