(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211363902.2 (22)申请日 2022.11.02 (71)申请人 山西省交通建 设工程质量检测中心 （有限公司） 地址 030032 山西省太原市太原经济技 术 开发区武洛街27号 (72)发明人 郝晨先　贾皓杰　牛彦峰　侯宇　 王国忠　武文婕　张敏　李承峰　 沙晓鹏　降慧　 (74)专利代理 机构 北京太兆天元知识产权代理 有限责任公司 1 1108 专利代理师 易卫 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) (54)发明名称 基于多头注意力的多尺度融合沥青路面裂 缝识别方法 (57)摘要 本发明涉及一种基于多头注意力的多尺度 融合沥青 路面裂缝识别方法， 通过对输入图像进 行预处理和数据增强并对输入图像进行分块； 在 图像块上进行多尺度的卷积运算， 融合不同图像 块的特征到相邻的图像块； 结合图像块的位置编 码， 基于多头注意力机制学习全局空间上重要的 图像块特征， 实现图像的多分类概率计算； 通过 选取概率最大的几个类别标记图像的标签类型。 本发明能够利用细粒度的多尺度图像块特征学 习鲁棒性更好的图像整体分类模 型， 在解决沥青 路面裂缝图像的多分类识别问题方面可以有重 要的价值。 权利要求书2页 说明书4页 附图2页 CN 115512230 A 2022.12.23 CN 115512230 A 1.基于多头注意力的多尺度融合沥青路面裂缝识别方法， 其特 征在于， 包括以下步骤： S1， 采用手机和检测车采集沥青路面的包含多类型裂缝的图像， 分别包括 “有裂缝”和 “无裂缝”两种类别， 并人工标注横向裂缝、 纵向裂缝和网状 裂缝标签； S2， 基于锐化、 双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据 增强； S3， 将数据增强后的沥青路面裂缝图像数据集分为训练集、 验证集和 测试集； S4， 将训练集的输入图像分成多个图像块， 设计多尺度融合的卷积网络在每个 图像块 上进行特征抽取； S5， 针对每个图像块， 将多尺度融合后的图像块特征与位置编码向量进行拼接， 输入 transformer编码器， 图像块采用多头注 意力机制进行图像特征提取， 利用多层感知器进行 类别概率计算； S6， 在采集的沥青路面裂缝图像集上， 为每个图像进行分类， 计算交叉熵损失函数， 并 采用梯度反传优化方法， 降低损失函数值， 最终得到分类模型； S7， 对于新的图像， 重复步骤S2 ‑S5利用分类模型 学习的参数进行裂缝识别。 2.根据权利要求1所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法， 其特 征在于， 所述步骤S2中， 基于锐化、 双边滤波和灰度变换中的至少一种进 行裂缝图像的数据 预处理和数据增强的方法如下： S2.1， 对沥青路面的图像进行亮度变化， 高斯噪声模糊和椒盐噪声叠加中的至少一种 图像操作； S2.2， 对图像进行翻转、 平 移和旋转中的至少一种实现数据增强变换。 3.根据权利要求2所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法， 其特 征在于， 所述步骤S4中， 将训练集的输入图像分成多个图像块， 设计多尺度融合的卷积网络 在每个图像块上进行 特征抽取的方法如下： S4.1， 将输入图像分割成s个图像块， 在第一 块上进行 卷积， 获取第一 块的特征f1； S4.2， 将第i 块的输入与第i ‑1块的特征fi‑1进行卷积融合， 融合的函数表示 为： 4.根据权利要求3所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法， 其特 征在于， 所述步骤S 5中， 针对每个图像块， 将多尺度融合后的图像块特征与位置编 码向量进 行拼接， 输入tr ansformer编码器， 图像块采用多头注意力机制进行图像特征提取， 利用多 层感知器进行类别概 率计算的方法如下： S5.1， 将多尺度融合后的图像块特 征fi与位置编码向量进行拼接； S5.2， 对每一块的拼接图像 特征进行Tran sformer编码， 获取每一块的特征向量为headi ＝Attention(QWiQ,KWiK,VWiV)； S5.3， 采用多头注意力机制进行图像特征提取表示为MultiHead(Q,K,V)＝Concat (headi,...,headH)WO S5.4， 通过多层感知器在多个 类别上进行映射， 输出 特征向量 5.根据权利要求4所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法， 其特权　利　要　求　书 1/2 页 2 CN 115512230 A 2征在于， 所述步骤S6中， 在采集的沥青路面裂缝图像集上， 为每个图像进行分类， 计算交叉 熵损失函数， 并采用梯度反传优化方法， 降低损失函数值， 最终得到分类模型的方法如下： S6.1， 计算输出 特征向量与真实类别向量yj的交叉熵损失函数为： S6.2， 设置批次大小batchsize和训练轮数， 计算batchsize个样本的损失， 并采用梯度 反传优化方法， 更新参数， 在验证集上连续5个epoch准确率不再提高时， 停止训练， 得到分 类模型。权　利　要　求　书 2/2 页 3 CN 115512230 A 3