(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321962.8 (22)申请日 2022.10.27 (71)申请人 北京矩视智能科技有限公司 地址 100089 北京市海淀区中关村大街甲 59号文化大厦10层10 05室 (72)发明人 李朋超　刘惠妹　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 刘硕 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01)G06N 3/04(2006.01) (54)发明名称 基于边界引导的工件表 面缺陷分割方法、 装 置及设备 (57)摘要 本发明涉及一种基于边界引导的工件表面 缺陷分割方法、 装置及设备， 属于工件表面缺陷 划分技术领域， 该方法中预先设置工件表面缺陷 分割网络， 在获取到表面图像后， 将表面图像输 入到预先设置的工件表面缺陷分割网络中， 得到 缺陷精细化分割结果。 其中， 分割网络采用边缘 感知模块集成了低级局部边缘信息和 高级全局 位置信息， 在显式边界监督下探索与目标边界相 关的边缘语义； 边缘引导特征模块， 将边缘特征 与各级主干特征相结合， 以引导特征学习， 强制 网络更加关注目标的结构和细 节， 将多层融合特 征自上而下地逐渐聚合， 以预测分割结果。 采用 本申请提供的技术方案， 提升工件表 面缺陷区域 分割结果边缘轮廓准确性， 适应工业场景的实际 应用。 权利要求书2页 说明书8页 附图3页 CN 115375692 A 2022.11.22 CN 115375692 A 1.一种基于边界引导的工件表面 缺陷分割方法， 其特 征在于， 包括： 获取目标工件的表面图像； 将所述目标工件的表面图像输入工件表面缺陷分割网络中， 得到所述目标工件的表面 图像的缺陷精细化分割结果； 其中， 所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经 网络上的边缘感知模块、 边缘引导特征模块和上下文聚合模块； 所述边缘感知模块的输出 作为输入， 输入到所述边缘引导特征模块中； 所述边缘引导特征模块的输出作为输入， 输入 到所述上 下文聚合模块中。 2.根据权利要求1所述的方法， 其特征在于， 所述主干卷积神经网络在所述表面图像中 提取多级特征； 所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含 目标边界监 督下的全局位置信息的高级特 征， 并确定目标工件的表面 边缘特征； 所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每 个层次的主干特 征进行特征融合， 得到语义增强后特 征； 所述上下文聚合模块用于通过自下而上的方式逐步 聚合多层所述语义增强后特征， 并 预测得到所述目标工件的表面图像的缺陷精细化分割结果。 3.根据权利要求2所述的方法， 其特征在于， 所述边缘感知模块， 具体用于通过两个1*1 卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局 位置信息 的高级特征的通道改为64和256， 得到卷积低级特征和卷积高级特征； 通过concat 运算将通 过64通道和256通道的卷积低级 特征和卷积高级特征进 行融合， 得到融合卷积特征； 将所述 融合卷积特征通过两个3 ×3卷积、 一个1 ×1卷积和一个Sigmoid函数得到所述目标工件的 表面边缘特征。 4.根据权利要求3所述的方法， 其特征在于， 所述边缘引导特征模块， 具体用于： 分别将 所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷 积， 得到初始融合特征； 将初始融合特征经过通道全局平均池化聚合卷积特征； 通过一 维卷 积和Sigmoid函数获得对应的通道注意力权重； 将所述通道注意力权重与所述初始 融合特 征相乘， 通过1*1卷积层卷积减少通道数， 得到所述语义增强后特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述上下文聚合模块， 具体用于： 通过自下 而上的方式将相 邻的两层所述语义增强后特征， 通过concat 运算， 进行1*1卷积层卷积获得 初始聚集特征； 沿通道维将所述初始聚集特征划分为四个特征映射； 将所述特征映射进行 跨尺度交 互学习， 预测得到所述目标工件的表面图像的缺陷精细化分割结果。 6.根据权利要求1 ‑5任一所述的方法， 其特征在于， 所述主干卷积神经网络包括 ResNet‑50。 7.根据权利要求2 ‑5任一所述的方法， 其特 征在于， 所述低级特 征为非首层特 征。 8.一种基于边界引导的工件表面 缺陷精细化分割装置， 其特 征在于， 包括： 获取模块， 用于获取目标工件的表面图像； 分割模块， 用于将所述目标工件的表面图像输入工件表面缺陷分割 网络中， 得到所述 目标工件的表面图像的缺陷精细化分割 结果； 其中， 所述工件表面缺陷分割网络包括主干 卷积神经网络及附加在所述主干卷积神经网络上的边缘感知 模块、 边缘引导特征模块和上权　利　要　求　书 1/2 页 2 CN 115375692 A 2下文聚合模块； 所述边缘感知模块的输出作为输入， 输入到所述边缘引导特征模块中； 所述 边缘引导特 征模块的输出作为输入， 输入到所述上 下文聚合模块中。 9.根据权利要求8所述的装置， 其特征在于， 所述分割模块输入的工件表面缺陷分割网 络的所述主干卷积神经网络用于在所述表面图像中提取多 级特征； 所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含 目标边界监 督下的全局位置信息的高级特 征， 并确定目标工件的表面 边缘特征； 所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每 个层次的主干特 征进行特征融合， 得到语义增强后特 征； 所述上下文聚合模块用于通过自下而上的方式逐步 聚合多层所述语义增强后特征， 并 预测得到所述目标工件的表面图像的缺陷精细化分割结果。 10.一种基于边界引导的工件表面缺陷精细化分割设备， 其特征在于， 包括处理器和存 储器， 所述处 理器与存 储器相连： 其中， 所述处 理器， 用于调用并执 行所述存储器中存 储的程序； 所述存储器， 用于存储所述程序， 所述程序至少用于执行权利要求1 ‑7任一项所述的基 于边界引导的工件表面 缺陷精细化分割方法。权　利　要　求　书 2/2 页 3 CN 115375692 A 3