(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210308337.3 (22)申请日 2022.03.28 (65)同一申请的已公布的文献号 申请公布号 CN 114419036 A (43)申请公布日 2022.04.29 (73)专利权人 北京矩视智能科技有限公司 地址 100089 北京市海淀区中关村大街甲 59号文化大厦10层10 05室 (72)发明人 弭宝瞳　李朋超　蔡丽蓉　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 刘明华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 US 20180 68198 A1,2018.0 3.08 CN 112906706 A,2021.0 6.04 CN 113850825 A,2021.12.28 WO 2021145920 A1,2021.07.2 2 CN 112800964 A,2021.0 5.14 徐胜军等.多尺度特 征融合空洞卷积 ResNet遥感图像建筑物分割. 《光学精密工程》 .2020,(第07期), 审查员 李敏竹 (54)发明名称 基于边界信息融合的表面缺陷区域分割方 法及装置 (57)摘要 本申请涉及一种基于边界信息融合的表面 缺陷区域分割方法及装置， 基于边界信息融合的 表面缺陷区域分割方法包括提取输入图像对应 的不同尺度的底层特征图， 根据不同尺度的底层 特征图获取通道上下文信息和目标边界特征图， 根据通道上下文信息获取空间上下文信息， 将空 间上下文信息与 目标边界特征图进行融合输出 最终表面缺陷区域分割结果。 本申请通过聚合输 入图像中空间和通道两个维度的上下文信息， 充 分利用图像中的上下文信息提高图像工件表面 缺陷区域分割的精度， 之后利用输入图像中目标 的边界信息进一步强化了上下文信息的聚， 实现 从不同的角度对输入图像中上下文信息的聚合， 进一步提高工件表面 缺陷区域分割的精度。 权利要求书2页 说明书8页 附图4页 CN 114419036 B 2022.06.24 CN 114419036 B 1.一种基于边界信息融合的表面 缺陷区域分割方法， 其特 征在于， 包括： 提取输入图像对应的不同尺度的底层特 征图； 根据所述 不同尺度的底层特 征图获取通道上 下文信息和目标边界特 征图； 根据所述 通道上下文信息获取空间上 下文信息； 将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割 结果。 2.根据权利要求1所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 所 述提取输入图像对应的不同尺度的底层特 征图， 包括： 将所述输入的图像输入预训练的ResNet网络提取到不同尺度的底层特征图， 所述底层 特征图的大小为所述输入图像的1/8。 3.根据权利要求1所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 根 据所述不同尺度的底层特 征图获取目标边界特 征图， 包括： 将所述不同尺度的底层特征图输入多尺度边界提取模块， 所述多尺度边界提取模块对 所述不同尺度的底层特 征图进行多层卷积处 理得到不同卷积层次输出的特 征图； 为所述不同卷积层次输出的特 征图匹配对应边界标签； 将不同卷积层次输出的带有边界标签的特 征图拼接后得到目标边界特 征图。 4.根据权利要求1所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 所 述根据所述 不同尺度的底层特 征图获取通道上 下文信息， 包括： 将所述不同尺度的底层特征图输入通道上下文信 息提取模块， 所述通道上下文信 息提 取模块对所述不同尺度的底层特征图进行池化处理， 获取包含全局通道信息的第一特征向 量； 将所述第一特 征向量与底层特 征图相乘， 得到通道上 下文信息特 征图。 5.根据权利要求4所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 所 述根据所述 通道上下文信息获取空间上 下文信息， 包括： 对所述通道上下文信息特 征图进行全连接操作处 理得到第二特 征向量； 将所述第二特 征向量与所述第二特 征向量对应的转置矩阵相乘得到目标类别矩阵； 将所述目标类别矩阵和所述通道上下文信 息特征图输入空间上下文信 息模块， 所述空 间上下文信息模块用于获取不同距离间像素的空间上下文信息， 所述空间上下文信息模块 对所述目标类别矩阵和通道上下文信息特征图进 行降通道数操作， 得到降维目标类别特征 图和降维通道上 下文信息特 征图； 根据所述降维通道上 下文信息特 征图获取空间上 下文权重矩阵； 根据所述降维目标类别特 征图生成目标类别像素 特征矩阵； 将所述目标类别像素特征矩阵与 所述空间上下文权重矩阵对应的转置矩阵做点乘， 得 到空间上 下文信息特 征图。 6.根据权利要求5所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 所 述将所述空间上 下文信息与所述目标边界特 征图进行融合， 包括： 将所述空间上下文信 息与所述目标边界特征图输入融合模块， 所述融合模块对所述空 间上下文信息进 行卷积操作生成第一空间上下文信息中间特征图， 所述融合模块对所述目 标边界特 征图进行 卷积操作生成第一目标边界中间特 征图；权　利　要　求　书 1/2 页 2 CN 114419036 B 2对所述第一空间上下文信 息中间特征图进行矩阵变换， 得到第 二空间上下文信 息中间 特征图， 对所述第一目标边界中间特 征图进行矩阵变换， 得到第二目标边界中间特 征图； 将所述第二空间上下文信息中间特征图与对所述第二目标边界中间特征图作矩阵乘 法， 得到注意力特 征图； 对第一空间上下文信息中间特征图进行维度变换得到第三空间上下文信息中间特征 图； 对注意力特征图和第三空间上下文信息中间特征图作矩阵乘法， 得到第一融合特征 图； 将第一融合特征图与第 一空间上下文信 息中间特征图作矩阵加法， 得到第 二融合特征 图。 7.根据权利要求6所述的基于边界信 息融合的表面缺陷区域分割方法， 其特征在于， 所 述将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结 果， 包括： 将所述第二融合特 征图进行 上采样操作输出最终表面 缺陷区域分割结果。 8.一种基于边界信息融合的表面 缺陷区域分割装置， 其特 征在于， 包括： 提取模块， 用于提取输入图像对应的不同尺度的底层特 征图； 第一获取模块， 用于根据所述不同尺度的底层特征图获取通道上下文信 息和目标边界 特征图； 第二获取模块， 用于根据所述 通道上下文信息获取空间上 下文信息； 融合模块， 用于将所述空间上下文信 息与所述目标边界特征图进行融合输出最终表面 缺陷区域分割结果。权　利　要　求　书 2/2 页 3 CN 114419036 B 3