(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210767292.6 (22)申请日 2022.06.30 (71)申请人 南京信息 工程大学无锡研究院 地址 214100 江苏省无锡市锡山区山河路 50号 (72)发明人 许正森　管海燕　柯福阳　曹爽　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 罗运红 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/36(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种局部 特征增强Tran sformer道路裂缝检 测方法 (57)摘要 本 发 明 公 开 了 一 种 局 部 特 征 增 强 Transformer道路裂缝检测方法， 该方法包 括： 创 建像素级标记强噪声干扰道路裂缝数据集， 用于 深度学习语义分割模型训练； 设计包含局部和全 局尺度裂缝语义特征提取路径、 多尺度跨越 连接 和高效上采样 模块的局部 特征增强Tran sformer 道路裂缝检测模 型； 基于创建的强噪声干扰道路 裂缝数据集， 使用最佳超参数迭代训练检测模 型； 定量计算裂缝长度与宽度， 并在系统界面评 价并显示道路路面状况； 本发明以高分辨率CCD 光学裂缝遥感数据为基础， 提出了局部特征增强 Transformer道路表面裂缝检测方法， 能在背景 噪声干扰严重的道路遥感图像中更快、 更智 能、 更准确检测与提取道路裂缝。 权利要求书3页 说明书7页 附图2页 CN 115294541 A 2022.11.04 CN 115294541 A 1.一种局部特 征增强Transformer 道路裂缝检测方法， 其特 征在于， 包括以下步骤： S1、 利用车 载CCD传感器采集高分辨 率道路影 像数据； S2、 将采集影 像裁剪为512×512大小图像块， 并初步筛 选出含有裂缝的图像； S3、 通过人工目视解译， 逐像素 标注道路裂缝图像并划分训练集与测试集； S4、 建立局部特 征增强Transformer 道路裂缝检测模型； S5、 搭建训练和 测试环境以选择最佳超参数和模型 大小； S6、 通过开源数据集训练、 验证模型性能， 并使用该模型对S3建立的测试集分割预测； S7、 根据S6的分割结果， 计算裂缝宽度和长度信息， 计算道路病害程度。 2.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述步骤S1具体包括以下分步骤： S11、 将CCD相机放置 于倒车雷达位置， 并调试相机 视场与角度； S12、 采集 不同材质和病害程度的路面原 始影像。 3.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述步骤S2具体包括以下分步骤： S21、 以5％交叠比将采集到的原 始影像的不同帧保存为图像； S22、 将S21保存的图像使用滑动窗口方法分割为512 ×512大小图像块； S23、 使用基于Sw in‑Transformer初步筛 选含有裂缝的图像块。 4.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述步骤S3具体包括以下分步骤： S31、 将通过 标注软件输入的信息生成逐像素 标注标签； S32、 通过背靠背方法测试不同标注人标注质量， 并对标注差异值小于第一阈值的样本 取标注区域公共部分， 对标签差异值大于第二阈值的样本 重新标注， 生成真实标签数据集； S33、 将真实标签数据集以8 :2的比例划分为训练集和验证集。 5.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述步骤S4中， 建立局部特 征增强Transformer 道路裂缝检测模型的方法如下： S41、 搭建局部特征增强Transformer道路裂缝检测模型， 该模型通过编码路径和解码 路径提取低等级和高等级道路裂缝语义特征， 并通过多尺度跨越连接将编 码路径特征输入 解码路径中以补充细节特 征， 通过预测模块检测路面图像中的裂缝； S42、 编码路径包括初始卷积模块、 局部特征增强模块和Transformer模块， 首先， 初始 卷积块使用两层步长分别为2的3 ×3卷积降低输入裂缝图像块的空间尺寸、 提升其特征通 道数量， 初步提取低等级道路裂缝局部特征， 对于X∈R512×512×3大小的输入图像， 经初始卷 积块处理后， 生成特征图Y∈R96×128×128， 其次， 通 过1个由空洞卷积、 残差连接和Sigmoid激活 函数构成的空间注意力模块位置编码道路裂缝特征图， 通过步长为2的深度卷积将输入特 征图下采样2倍并将其通道数提升2倍， 将位置编码并下采样后的特征图输入Tr ansformer 模块， 即通过投影、 变形和相乘以及相加操作提取全局道路裂缝语义特征； 之后， 使用由两 层3×3卷积构成的局部特征增强模块在保持特征图空间尺寸和 通道数不变的情况下补充 裂缝细节信息， 通过以交替方式串联运行 的4组不同空间尺寸和 通道维数 的局部特征增强 模块和Transformer模块构成低等级语义特征提取的编码路径以提取不同尺度的局部和全 局裂缝语义特征， 经过4组Tr ansformer模块和局 部特征增强模块操作后， 特征图尺寸分别权　利　要　求　书 1/3 页 2 CN 115294541 A 2为{R192×128×128， R192×64×64， R384×32×32， R768×16×16}； S43、 解码 路径由上采样模块和Transformer模块构成， 首先， 使用低级语义特征提取编 码路径的最后一级输出特征图作为高级语义特征提取解码路径的输入数据； 其次， 使用双 线性插值上采样、 步长为1的3 ×3卷积和空间注意力块构成的上采样模块对该输入特征图 进行两倍上采样， 初步恢复裂缝图像分辨率， 之后， 将恢复分辨率后的特征图输入 Transformer模块中， 进一步提取高等级裂缝全局语义特征， 通过构建由4个上述上采样模 块和Transformer模块构成的高级 特征提取路径， 逐步恢复特征图的空间分辨率， 并提取高 等级道路裂缝语义特征， 上述4组上采样模块和Transformer模块输出的特征图大小分别为 {R384×32×32， R192×64×64， R96×128×128， R48×512×512}； S44、 将上述每个阶段低级语义特征提取路径提取出的低等级特征和相应层级的高级 语义特征提取路径提取出的高级 特征图以逐元素相加的方式合并， 补充高级语义特征缺乏 的道路裂缝空间细节信息； S45、 通过一个3 ×3卷积块将解码路径输出的高等级道路裂缝语义特征图维度数降为 1， 即Y∈R1×512×512， 之后， 使用S igmoid激活函数将该特征图的像元值大小映射至(0， 1)区间 以得到该图像中每个像元属于裂缝类别的概率图， 最后， 使用预设的阈值， 将该图像中所有 像元分类为裂缝或非裂缝， 从而完成道路裂缝检测任务。 6.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述的步骤S5具体包括以下分步骤： S51、 使用Pytorch和CUDA搭建基于GPU的模型训练和测 试环境， 并测 试不同学习率、 小 批次大小和Transformer模块深度对 模型性能的影响， 选择最优 超参数； S52、 使用枚举法， 在[0.0005,0.005] 区间中， 以0.0005为 间隔并分别使用4、 8和16三种 批次大小， 测试不同学习率和批次大小下模 型性能， 通过横向比较检测结果， 最 终0.001和8 作为学习率和小批次大小的最优 超参数； S53、 固定超参数设定， 选择不同的Trans former模块深度下的模型， 即Trans former_T， Transformer_S， Transformer_B和Transformer_L， 通过比较不同模型检测性能和训练、 预 测效率， 最终使用Transformer_T作为 最终模型。 7.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法， 其特征在 于， 所述的步骤S6具体包括以下分步骤： S61、 使用开源数据集Concret eCrack、 CrackWH 100、 BridgeCrack、 CrackTree260作为训 练集与验证集， 使用S3构建的数据集作为测试集； S62、 将Focal  Loss作为损失函数解决裂缝 图像中裂缝像元和道路背景像元数量差异 大导致的类别不均衡问题， 并迭代训练模型， Focal  Loss公式表达如下： 其中， h和w分别 表示输入图像的高和宽； Pij表示预测概率图； Mij表示标签数据， Mij＝1，权　利　要　求　书 2/3 页 3 CN 115294541 A 3