(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210371669.6 (22)申请日 2022.04.11 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 邓辅秦　黄泳龙　谢梓彬　冯华　 王栋　张建民　龙佳乐　钟东洲　 丁毅　习江涛　金少峰　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黄英杰 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于少样 本学习的混凝土缺陷分类方法、 装 置和介质 (57)摘要 本发明公开了一种基于少样本学习的混凝 土缺陷分类方法、 装置及计算机可读存储介质， 包括： 对获取到的原始照片进行预处理得到第一 缺陷样本集， 其中， 第一缺陷样本集为表面缺陷 数据集， 表面缺陷数据集包括多种缺陷照片； 将 第一缺陷样本集输入经过训练优化处理后的孪 生卷积神经网络， 使 得孪生卷积神经网络对缺陷 照片进行计算， 输出相似度集合， 其中， 相似度集 合用于表征缺陷照片之间的相似度； 根据相似度 集合确定缺陷照片 的类型。 本发明实施例中， 能 够减少混凝土缺陷分类的样本集， 提高混凝土缺 陷分类技 术的适应性。 权利要求书2页 说明书9页 附图4页 CN 114937002 A 2022.08.23 CN 114937002 A 1.一种基于少样本学习的混凝 土缺陷分类方法， 其特 征在于， 包括： 对获取到的原始照片进行预处理得到第一缺陷样本集， 其中， 所述第一缺陷样本集为 表面缺陷数据集， 所述表面 缺陷数据集包括多种缺陷照片； 将所述第一缺陷样本集输入经过训练优化处理后的孪生卷积神经网络， 使得所述孪生 卷积神经网络对所述缺陷照片进 行计算， 输出相似度集合， 其中， 所述相似度集合用于表征 所述缺陷照片之间的相似度； 根据所述相似度集 合确定所述 缺陷照片的类型； 其中， 对所述孪生卷积神经网络进行的训练优化处 理， 包括： 获取第二缺陷样本集中的两张样本照片， 其中， 所述第二缺陷样本集包括多张所述样 本照片； 将所述样本照片输入所述孪生卷积神经网络， 使得所述孪生卷积神经网络提取所述样 本照片中的特征信息， 并且根据所述特征信息对所述样本照 片进行计算， 得到度量 公式， 其 中， 所述度量公式用于表征 所述样本照片中的所述特 征信息的相似度； 根据所述度量公式训练所述孪生卷积神经网络， 得到初始孪生卷积神经网络； 基于边缘检测算法对所述第一缺陷样本集中的所述缺陷照片以及所述第二缺陷样本 集中的所述样本照片进行边 缘检测， 得到多个边 缘特征图； 根据所述边缘特征图和所述度量公式优化所述初始孪生卷积神经网络， 得到经过训练 优化处理后的所述孪生卷积神经网络 。 2.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述缺 陷照片由以下步骤得到， 包括： 对所述原 始照片进行分类处 理， 得到原 始缺陷照片； 将所述原 始缺陷照片进行 标注处理， 得到所述原 始缺陷照片中的缺陷区域； 对所述缺陷区域进行覆盖处理， 得到携带标签信息的所述缺陷照片， 其中， 所述标签信 息用于表征 所述缺陷照片的种类。 3.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述根 据所述边缘特征图和所述度量公式优化所述初始孪生卷积神经网络， 得到经过训练优化处 理后的所述孪生卷积神经网络， 包括： 将所述边缘特征图输入所述初始孪生卷积神经网络， 使得所述初始孪生卷积神经网络 根据所述 边缘特征图对输入格式进行调整， 得到调整后的所述孪生卷积神经网络 。 4.根据权利要求3所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述输 入格式为三维通道格式； 所述将所述边缘特征图输入所述初始孪生卷积神经网络， 使得所 述初始孪生卷积神经网络根据所述边缘特征图对输入格式进 行调整， 得到调整后的所述孪 生卷积神经网络， 包括： 将所述边缘特征图输入所述初始孪生卷积神经网络， 使得所述初始孪生卷积神经网络 将所述边缘特征图与所述 三维通道格式结合， 得到调整后的所述孪生卷积神经网络 。 5.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述孪 生卷积神经网络包括全连接层； 所述根据所述特征信息对所述样本照片进行计算， 得到度 量公式， 包括： 将所述特 征信息输入所述全连接层进行 特征共享；权　利　要　求　书 1/2 页 2 CN 114937002 A 2基于所述孪生卷积神经网络对特 征共享后的所述样本照片进行计算； 根据计算结果得到所述度量公式。 6.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述样 本照片携带用于表征 所述样本照片种类的样本标签； 所述训练优化处 理还包括： 根据所述样本标签对比所述样本照片； 将对比结果输入损失函数进行计算， 其中， 所述损失函数为交叉熵损失函数； 根据所述损失函数的计算结果优化所述孪生卷积神经网络 。 7.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述特 征信息至少包括如下类型中的一种： 纹理信息； 色彩信息； 边缘信息； 形状信息 。 8.根据权利要求1所述的基于少 样本学习的混凝土缺陷分类方法， 其特征在于， 所述将 所述第一缺陷样本集输入经过训练优化处理后的所述孪生卷积神经网络， 使得所述孪生卷 积神经网络对所述 缺陷照片进行计算， 输出相似度集 合， 包括： 将所述第一缺陷样本集输入经过训练优化处理后的所述孪生卷积神经网络， 使得所述 孪生卷积神经网络根据所述度量 公式计算多种所述缺陷照 片的多种相似度， 根据所述多种 相似度生成所述相似度集 合。 9.一种基于少样本学习的混凝 土缺陷分类装置， 其特 征在于， 包括： 样本获取模块， 用于对获取到的原始照片预处理得到第 一缺陷样本集， 其中， 所述第一 缺陷样本集 为表面缺陷数据集， 所述表面 缺陷数据集包括多种缺陷照片； 训练处理模块， 用于将所述第 一缺陷样本集输入经过训练优化处理后的孪生卷积神经 网络， 使得所述孪生卷积神经网络对所述缺陷照片进行计算， 输出相似度集合， 其中， 所述 相似度集 合用于表征 所述缺陷照片之间的相似度； 类别确定模块， 用于根据所述相似度集 合确定所述 缺陷照片的类型。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指 令用于使计算机执行如权利要求 1至8任意一项 所述的基于 少样本学习的混凝 土缺陷分类方法。权　利　要　求　书 2/2 页 3 CN 114937002 A 3