(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210539771.2 (22)申请日 2022.05.18 (71)申请人 中国地质大 学 （武汉） 地址 430000 湖北省武汉市洪山区鲁磨路 388号 (72)发明人 朱祺琪　王立增　 (74)专利代理 机构 武汉知产时代知识产权代理 有限公司 42 238 专利代理师 康靖 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) (54)发明名称 基于边缘约束与特征适应的Tran sformer双 分支道路提取方法及装置 (57)摘要 本发明提供了一种基于边缘约束与特征适 应的Transformer双分支道路提取方法及装置， 该方法包括： 搭建双分支道路提取模型， 输入高 分辨率遥感影像和对应的样本数据集； 利用跨窗 口自注意力机制模型建模道路特征； 道路面提取 分支利用非对称上采样解码器整合多尺度特征 映射； 边缘提取分支道路精细化约束； 通过训练 后的道路特征提取模型对待分类的影像进行道 路特征分类， 获得每张影像的道路特征分类结 果。 本发明提供了一种新 颖的双分支道路提取模 型的架构， 具备局部与全局上下文信息的积累能 力， 适应道路跨度大的长距离特征， 充分利用图 像本身的边缘先验信息， 保证分割精度的同时增 强了道路提取 结果的完整性。 权利要求书3页 说明书9页 附图5页 CN 114926797 A 2022.08.19 CN 114926797 A 1.一种基于边缘约束与特征适应的Transformer双分支道路提取方法， 其特征在于， 包 括以下步骤： S1、 对输入训练数据集进行 数据增强处 理， 获得增强后的训练数据集； S2、 搭建双分支道路提取模型并进行初始化和超参数设置， 获得初始化的双分支道路 提取模型； S3、 将所述增强后的训练数据集输入所述初始化的双分道路提取模型中， 通过 Transformer编码器对增强后的训练数据集的图像进行四次下采样， 使用跨窗口的自注意 力机制建模得到包 含局部信息与全局信息的特 征图； S4、 将增强后的训练数据集的图像输入层次化特征卷积模型得到道路边缘标签， 通过 边缘约束分支将Tr ansformer编码器输出的包含局部信息与全局信息的特征图恢复尺寸， 得到用于约束道路面 提取的道路边 缘掩膜； S5、 通过道路面提取分支带有非对称上采样模块的解码器， 将Transformer编码器各层 输出的高层语义特征以跳级连接的方式进行多尺度特征整合， 恢复特征映射， 结合边缘分 支特征约束， 输出道路面预测结果； S6、 通过道路面预测结果和增强后的训练数据集中的道路面标签计算道路面损失函 数， 通过道路边缘掩膜和道路边缘标签计算道路边缘损失函数， 进而计算联合损失函数， 监 督双分支道路提取模型两个分支特征的提取， 通过联合损失函数与后向传播算法对模型特 征映射进行训练， 更新编码器和解码器中的参数； S7、 重复步骤S3 ‑S6， 直至获得训练后的道路特征提取模型， 通过训练后的道路特征提 取模型对待分类 影像进行道路特 征提取分类， 获得待分类 影像的道路面分类结果。 2.如权利 要求1所述的基于边缘约束与特征适应的Transformer双分支道路提取方法， 其特征在于， 步骤S3包括 S31、 将增强后的训练集的图像划分为4 ×4大小的非重叠的区块， 并使用特征图线性归 一化层将特征图维度展平， 得到 大小的特征图， 其中H、 W和C分别表示特征图的长、 宽和通道数； S32、 将特征图进行四次下采样， 每次下采样分别由2、 2、 6、 2个相同的Transformer模块 串联而成， 每次下采样之 间通过区块重组层将特征图长和宽减半， 通道数量增加一倍， 实现 Transformer编码器特征多尺度分层表示， 四次下采样得到的特征图大小分别为 以及 即得到包含局部信息与全局信 息的特征图。 3.如权利 要求2所述的基于边缘约束与特征适应的Transformer双分支道路提取方法， 其特征在于， 步骤S32中， 每个Transformer模块包括： 特征图线性归一化层、 多头自注意力 模块、 残差连接和具有GELU函数的非线性的2层多层感知机； 两个Transformer模块为一组， 第一个Transformer模块的多头自注意力模块基于正常 窗口， 计算各图像块与其 他图像块之间的关系， 计算公式为： 权　利　要　求　书 1/3 页 2 CN 114926797 A 2其中， zl‑1与 分别为第l ‑1个、 第l个Transformer模块中基于正常窗口的多头自注意 力模块的输入与输出， W ‑MSA为基于正常窗口的多头自注意力模块， LN为特征图线性归一化 层， MLP为多层感知机， zl为第l个Transformer模块的MLP层的输出； 在正常窗口自注意力计算后， 在第二个Transformer模块的多头自注意力模块基于滑 动错位的窗口， 捕获图像不同尺度下地物更广的空间细节， 计算公式为： 其中， zl和 分别为第l个、 第l+1个Transformer模块中基于滑动错位窗口的多头自 注意模块的输入与输出， SW ‑MSA为基于滑动错位窗口的多头自注意力模块， LN为特征图线 性归一化层， MLP为多层感知机， zl+1为第l+1个Transformer模块的MLP层的输出。 4.根据权利要求1所述的基于边缘约束与特征适应的Transformer双分支道路提取方 法， 其特征在于， 步骤S4包括： S41、 对增强后的训练数据集的图像采用预训练的层次化特征卷积模型挖掘边缘信息， 从而得到道路边 缘标签； S42、 Transformer编码器最后一层输出的特征 图经过一次四倍双线性上采样和一个3 ×3的卷积层， 与Transformer编码器第二层输出的特 征图进行通道叠加； S43、 将叠加后的特征图经过一次四倍双线性上采样和一个3 ×3的卷积层， 将其连接至 道路面提取分支最后一层解码器的输出； 经过两次双线性上采样， 边缘分支特征图被恢复 到原始分辨率， 从而得到用于约束道路面 提取的道路边 缘掩膜。 5.根据权利要求1所述的基于边缘约束与特征适应的Transformer双分支道路提取方 法， 其特征在于， 步骤S5包括： S51、 特征图通过解码器进行四次上采样， 逐步恢复特征图的尺寸； 每次先经过一层1 × 1卷积和Relu函数与一层非对称上采样层， 非对称上采样层 包含垂直、 水平、 正对角线、 负对 角线四个方向串联的一维卷积核， 每个方向滤波器的参数量与3 ×3转置滤波器相同， 数量 为3×3转置滤波器的四分之一， 从而不改变解码器的计算 量与参数量； S52、 解码器第四层输出的特 征图与边 缘约束分支输出的边 缘特征图进行通道叠加； S53、 叠加后的特征图通过4 ×4卷积和跨度 为2的3×3卷积， 并由Relu函数激活， 恢复特 征图至原 始图像分辨 率， 最后经 过Sigmoid函数输出道路面预测结果图。 6.根据权利要求1所述的基于边缘约束与特征适应的Transformer双分支道路提取方 法， 其特征在于， 步骤S6中， 联合损失函数L的计算公式如下： L＝Lsurface+α Ledge 其中， 道路面损失函数Lsurface为二元交叉熵、 Dice系数损失函数， 道路边缘损失函数 Ledge为均方根损失函数， 超参数α 控制两分支的平衡。 7.一种基于边缘约束与特征适应的Transformer双分支道路提取装置， 其特征在于， 包 括以下模块： 数据增强模块， 用于对输入训练数据集进行 数据增强处 理， 获得增强后的训练数据集；权　利　要　求　书 2/3 页 3 CN 114926797 A 3