(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210786339.3 (22)申请日 2022.07.04 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 申请人 华能澜沧江水电股份有限公司 　 华能集团技 术创新中心有限公司 (72)发明人 王哲源　易魁　陈有勤　毛莺池　 万旭　曹学兴　聂兵兵　谭彬　 刘海波　彭欣欣　王海燕　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李玉平 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06Q 10/06(2012.01) G06Q 50/08(2012.01) (54)发明名称 基于多尺度注意力的混凝土表面缺陷特征 检测方法 (57)摘要 本发明公开了一种基于多尺度注意力的混 凝土表面缺陷特征检测方法， 包括以下步骤： 构 建围绕分层结构思想的多尺度图像注意力网络 结构， 网络将特征提取分为四个层级， 分别处理 不同尺度的特征图像； 构建基于维度裁剪的多头 注意力模块， 对多头注意力机制嵌入维度裁剪计 算， 通过消减输入的特征向量维度降低高分辨率 特征图像计算冗余； 构建注意力 聚合结构， 通过 卷积和汇集等空间操作将各层注意力特征按照 划分策略进行聚合， 以聚焦图像细节， 提高图像 特征精度。 本发 明有效收缩各层 级缺陷图像尺寸 大小， 可减少模型的计算冗余并提高计算速率， 同时通过构建注意力聚合模块能够促进图像全 局信息耦合， 聚焦缺陷图像特 征精度。 权利要求书3页 说明书7页 附图2页 CN 115147375 A 2022.10.04 CN 115147375 A 1.一种基于多尺度注意力的混凝土表面缺陷特征检测方法， 其特征在于， 方法包括如 下内容： (1)构建多层级注意力网络， 多层级注意力网络包括 四层注意力网络， 对混凝土表面缺 陷图像进行特征提取， 每一层注意力网络分别处理不同划分尺度的图像块， 通过注意力计 算与特征聚合， 最终得到多尺度图像特 征； (2)在每层注意力网络中构建基于维度裁剪的多头注意力模块， 将得到的注意力特征 输出到注意力聚合模块； (3)在每层网络结构中构建注意力聚合模块， 将多头注意力模块计算得到的各层注意 力特征按照划分策略进行聚合。 2.根据权利要求1所述的基于多尺度注意力的混凝土表面缺陷特征检测方法， 其特征 在于， 所述构建多层级注意力网络中， 多层 级注意力网络包括四层注意力网络结构， 四层注 意力网络依 次连接， 每一层注意力网络依 次包含图像嵌入模块， 多头注意力模块和注意力 聚合模块； 第一层注意力网络的输入是混凝土表 面缺陷图像， 输出是特征图像， 后面每一层 注意力网络接收到上一层输出的特征图像后， 送入图像 嵌入模块线性投影与多头注意力模 块的计算得到不同尺度的图像特征， 之后 将该图像特征通过注意力聚合模块聚合为新的特 征图像输出 给下一层。 3.根据权利要求1所述的基于多尺度注意力的混凝土表面缺陷特征检测方法， 其特征 在于， 多层级注意力网络对混凝 土表面缺陷图像特 征提取的具体步骤如下： (1.1)将输入的混凝土表面缺陷图像划分为 份图像块， 划分时记录各 图像块所处 整体混凝土表面缺陷图像的位置信息， 采用三角函数形式表示为位置嵌入向量； H,W分别代 表输入的混凝土表面缺陷图像的高度与宽度； 其中每一份图像块的尺寸大小为4 ×4×3像 素； (1.2)将划分后互不重 叠的图像块借助图像嵌入 模块进行线性投影； 第一层注意力网络将(1.1)中划分的 份互不重叠的图像块送入第一层注意力网络 中的图像嵌入模块进行线性投影， 得到大小为 的嵌入式向量， 其中C1为常量， 代表 第一层嵌入向量的序列维度。 对于第i层注意力网络， i＝2,3,4； 定义第i层输入的图像块收 缩尺度为Pi， 各层的收缩尺度Pi随着层级依次增加而增大； 第i层注意力网络首先将上一层 输出的特征图像Fi‑1均匀划分为 个图像块， 其中Hi‑1,Wi‑1为上一层 输出的特征图 像的高度与宽度； 此 时每个图像块的序列维度为 将当前层划分的每个图像块重塑， 并线性投影为Ci维度的嵌入向量， 此时相比输入的特征图像Fi‑1， 每个嵌入向量的尺寸为 (1.3)将(1.2)收缩后的图像嵌入向量同位置嵌入向量进行线性组合， 输入多头注意力 模块， 计算各图像块局部注意力； (1.4)将多头注意力模块计算得到的各图像块局部注意力输入注意力聚合模块， 按照权　利　要　求　书 1/3 页 2 CN 115147375 A 2划分区块进行注意力聚合， 最终得到第i层输出特征图像Fi； 采用类似的方式， 使用前一层 输出的特征图作为下一层的特征输入， 各层网络依次得到特征图像F1,F2,F3,F4； 四层的不 同尺度特 征提取与计算 最终形成多层级注意力网络 。 4.根据权利要求1所述的基于多尺度注意力的混凝土表面缺陷特征检测方法， 其特征 在于， 所述构建基于维度裁剪的多头注意力模块， 该模块基于传统注意力模块对多头注意 力机制嵌入维度裁 剪计算， 具体步骤如下： (2.1)将图像嵌入模块输出的每个图像块嵌入向量映射为Q,K两个矩阵向量； 其中Q向 量代表图像块的注意力权重； K为注意力索引， 通过用其它图像块的注意力索引K与当前图 像块的注意力权重相乘， 得到其它图像块对当前图像块的注 意力加权； 除此之外， 引入混凝 土表面缺陷图像训练样本集训练下的矩阵向量V， 在原有Q,K向量的基础上， 利用混凝土表 面缺陷图像训练样本集进行强化训练后得到的图像向量。 (2.2)构建对图像输入特 征的空间尺度下采样公式， 目的是减少向量K,V序列维度： DT(x)＝Norm(Shri nk(x,Ti)WS) 其中x表示各层注意力网络划分后的图像块输入序列， Norm( ·)为归一化处理， 目的主 要是为了让多层级注意力网络模型的收敛速度更快； Ti表示第i层注意力网络中多头注意 力模块的缩减率， Shrink( ·)是将输入序列x收缩为大小为 的输出序列； WS为 线性投影参数， 目的是将输入序列的维度线性投影为Ci； (2.3)计算单头注意力， 再将计算结果进行级联合并； 单头注意力计算公式如下： 其中 为Q， K， V向量的线性投影参数， DT( ·)为空间尺度下采样操作。 Attention( ·)为注意力机制计算公式， 其中 为缩放因子， 目的是使训练过程中 Softmax(·)函数的梯度值保持稳定： (2.4)计算多头的维度裁剪注意力， (2.3)单头注意力计算完成后得到 的值， 将多个单头注意力计算进行串联， 得到基于维度裁 剪的多头注意力， 公式如下： 其中Concat( ·)是对多头注意力的级联操作； Ni为第i层注意力网络的注意力层头数， WO为线性投影参数。 5.根据权利要求1所述的基于多尺度注意力的混凝土表面缺陷特征检测方法， 其特征 在于， 所述构建注意力聚合模块， 通过卷积和汇集等空间操作将各层注意力特征按照划分 策略进行聚合的具体步骤如下： 通过图像嵌入模块将第i层注意力 网络的特征图像输入Fi‑1分解为若干互不重叠的图 像块， 并由多头注意力模块进行了各图像块的局部注意力计算； 注意力聚合模块将各图像权　利　要　求　书 2/3 页 3 CN 115147375 A 3