(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211161939.7 (22)申请日 2022.09.23 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 荣辉桂　张宏铭　火生旭　晏班夫　 石洪霞　 (74)专利代理 机构 武汉臻诚专利代理事务所 (普通合伙) 42233 专利代理师 宋业斌 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06T 7/73(2017.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于tran sformer的桥梁缺陷识别方法 与系统 (57)摘要 本发明公开了一种基于tran sformer的桥梁 缺陷识别方法， 包括： 获取桥梁的视频， 按照固定 时间长度对 该桥梁的视频进行视频帧提取， 获取 的所有视频帧构成视频帧集合， 对视频帧集合进 行灰度化处理， 以获取灰度化处理后的视频帧集 合， 将经过预处理获取的视频帧集合输入训练好 的桥梁缺陷识别模型中， 以提取桥梁缺陷的目标 位置和桥梁缺陷的类别， 将桥梁缺陷的目标位置 和桥梁缺陷的类别作为最终的桥梁缺陷识别结 果。 本发明能够解决现有基于人工实现的桥梁缺 陷识别方法检测效率低下、 以及对检测工作人员 而言存在很大的人身安全隐患的技 术问题。 权利要求书5页 说明书15页 附图4页 CN 115482491 A 2022.12.16 CN 115482491 A 1.一种基于t ransformer的桥梁缺陷识别方法， 其特 征在于， 包括以下步骤： （1） 获取桥梁的视频， 按照固定时间长度对该桥梁的视频进行视频帧提取， 获取的所有 视频帧构成视频帧集 合； （2） 对步骤 （1） 获取的视频帧集合进行灰度化处理， 以获取灰度化处理后的视频帧集 合； （3） 将经过步骤 （2） 预处理获取的视频帧集合输入训练好的桥梁缺陷识别 模型中， 以提 取桥梁缺陷的目标位置和桥梁缺陷的类别， 将桥梁缺陷的目标位置和桥梁缺陷的类别作为 最终的桥梁缺陷识别结果。 2.根据权利要求1所述的基于t ransformer的桥梁缺陷识别方法， 其特 征在于， 桥梁缺陷识别模型包含依次连接的特征提取主干网络、 信息损 失区域提取网络、 区域 推荐网络RPN、 节点编码器、 序列编码器以及像素解码器网络六个部分； 第一层是特征提取主干网络， 特征提取主干网络包含一个区域分割模块、 一个线性嵌 入模块、 三个顺次连接的区域 合并模块、 以及四个t ransformer单 元； 第二层是信 息损失区域提取网络， 其输入为特征提取主干网络中最后一个区域合并模 块输出的特征张量， 经过特征图金字塔网络FPN上采样阶段的每一层获取一个特征图 ， 所 有特征图构成特征图集合{ ， ， ，…， }， 其中num表示FPN中上采样阶段的总层数， 根据最后一层获取的特征图 获取桥梁缺陷目标掩膜 ， 然后对 经过FPN 的下采样阶段的最后一层后获取另一个桥梁缺 陷目标掩膜 ， 对 和 求 差值， 获取信息损失区域 ， 将桥梁缺陷目标掩膜 和信息损失区域 输 入到一个全卷积网络中， 最终输出目标边 缘损失信息感兴趣区域Ro I， 其为四叉树结构； 第三层是区域推荐网络， 其输入为第二层信息损失区域提取网络获取的特征图集合 ， 遍历其中的所有特征图， 对每个特征图上的每个像素点都 生成锚框， 然后针对每个锚框而言， 将其分为正样本和负样本， 正样 本为锚框和该特征图上 人工标注的掩膜之间的交并比IoU大于0.7的锚框， 负样本为锚框与掩膜的交并比小于0.3 的锚框， 然后对于每个正样本而言， 进一步寻找该特征图上所有标注的掩膜中与其相交最 大的掩膜， 将这个最大的掩膜的桥梁缺陷的类别赋予这个正样本， 然后对该正样本而言， 利 用前向传播方法计算偏移量， 并根据偏移量对该正样本的位置进行调整， 最终输出与该正 样本对应的桥梁缺陷分类识别框； 第四层是节点编码器， 其输入为第二层输出的四叉树结构的目标边缘损失信息RoI， 根 据该目标边缘损失信息RoI获取四叉树中每个节点的位置信息， 将四叉树中每个节点的位 置信息、 FPN中对应位置的特征信息、 以及桥梁缺陷目标掩膜 的语义信息三者进行 融合后， 输出 特征融合后的四叉 特征树； 第五层是序列编码器， 其输入为第 四层输出的特征融合后的四叉特征树， 使用多头自 注意力模块和全连接前馈网络对该四叉特征树进 行特征融合和更新， 输出为序列编 码后的权　利　要　求　书 1/5 页 2 CN 115482491 A 2特征张量； 第六层是像素解码器， 其输入为第五层输出的序列编码后的特征张量， 使用多层感知 机MLP对其进行解码， 输出为预测的实例标签。 3.根据权利要求2所述的基于transformer的桥梁缺陷识别方法， 其特征在于， 特征提 取主干网络的具体结构为： 区域分割模块， 其将输入的桥梁缺陷图片平均分割成16个区域， 并在每个区域内部分 别计算注意力； 线性嵌入模块， 其将区域分割模块分割获取的16个区域的图像嵌入为维度为 的特征张量； 其中W表示 桥梁缺陷图片的宽度， H表示 桥梁缺陷图片的高度； transformer  单元， 其输入为线性嵌入模块输出的 大小的特征张量， 输出 大小为 的特征张量， 其中 =96； 对于第一个区域合并模块而言， 其输入为transformer  单元的输出的 大小 的特征张量， 输出为 的特征张量， 对于第二个区域合并模块而言， 其输入为第 一个区域合并模块输出的 的特征张量， 输出为 的特征张量； 对 于第三个区域合并模块而言， 其输入为第二个区域合并模块输出的 的特征张 量， 最终输出 大小的特 征张量。 4.根据权利要求3所述的基于transformer的桥梁缺陷识别方法， 其特征在于， 桥梁缺 陷识别模型 是通过以下步骤训练获取的： （3‑1） 获取多张桥梁缺陷图片组成的桥梁缺陷数据集， 对该桥梁缺陷数据集进行预处 理， 对预处理后 获取的桥梁缺陷数据集进行数据增强操作， 对数据增强后的桥梁缺陷数据 集进行标注， 并将标注后的桥梁缺陷数据集按照3:1:1的比例随机划分为训练集、 验证集和 测试集； 其中标注过程是使用标注工具对数据增强后的桥梁缺陷数据集进行缺陷类别标 注， 即用掩膜的形式将桥梁缺陷标注为裂缝、 锈蚀、 或剥落； （3‑2） 针对步骤 （3 ‑1） 获取的训练集 中的每张桥梁缺陷图片而言， 将其输入特征提取主 干网络， 使用48个 大小的卷积 核， 将桥梁缺陷图片划分成16个  大小的区域， 并 将这16个区域嵌入成一个维度为 大小的特 征张量I； （3‑3） 针对步骤 （3 ‑1） 获取的训练集中的每张桥梁缺陷图片而言， 将步骤 （3 ‑2） 获取的 该张桥梁缺陷图片对应的特征张量I输入transformer  单元中， 在该桥梁缺陷图片的16个权　利　要　求　书 2/5 页 3 CN 115482491 A 3