(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210793667.6 (22)申请日 2022.07.05 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 李东海　费敬敬　蒋小可　吴立威　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/62(2017.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 缺陷检测方法及装置、 电子设备和存 储介质 (57)摘要 本公开涉及一种缺陷检测方法及装置、 电子 设备和存储介质， 所述方法包括： 对获取的待检 测图像进行分类处理， 确定待检测图像的分类信 息， 以及对获取的待检测图像进行分割处理， 得 到分割图像， 并根据分类信息， 判断是否对分割 图像进行缺陷检测， 得到判断结果； 在判断结果 为进行缺陷检测的情况下， 根据分类信息和分割 图像， 对分割图像进行缺陷检测， 确定缺陷检测 结果。 本公开实施例能够自动检查出待检测图像 中存在的缺陷， 不仅减少了人工成本， 而且充分 利用了待检测图像的分类信息和分割图像， 提高 了缺陷检测的精准度。 权利要求书3页 说明书20页 附图6页 CN 115294025 A 2022.11.04 CN 115294025 A 1.一种缺陷检测方法， 其特 征在于， 包括： 获取待检测图像； 对所述待检测图像进行分类处理， 确定所述待检测图像的分类信息， 所述分类信息包 括所述待检测图像属于每 个缺陷类别的缺陷概 率， 以及 对所述待检测图像进行分割处理， 得到分割图像， 所述分割图像包括至少一个待检测 物体对应的至少一个目标区域， 以及待检测物体以外的背景区域； 根据所述分类信息， 判断是否对所述分割图像进行缺陷检测， 得到判断结果； 在判断结果为进行缺陷检测的情况下， 根据所述分类信息和所述分割图像， 对所述分 割图像进行缺陷检测， 确定缺陷检测结果， 所述缺陷检测结果包括无缺陷结果和有缺陷结 果中的至少一种， 所述有缺陷结果包括至少一个缺陷位置， 以及每个缺陷位置处的缺陷对 应的分类信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述分类信息， 判断是否对所述 分割图像进行缺陷检测， 得到判断结果， 包括： 在所述分类信 息包括的全部所述缺陷概率均小于预设的分类阈值的情况下， 所述待检 测图像不存在缺陷， 所述判断结果 为不进行缺陷检测， 或者， 在所述分类信 息包括的至少一个所述缺陷概率大于或等于预设的分类 阈值的情况下， 所述判断结果 为进行缺陷检测。 3.根据权利要求1或2所述的方法， 其特征在于， 针对大于或等于预设的分类阈值的分 类信息中任一 缺陷类别的缺陷概 率， 所述根据所述分类信息和所述分割图像， 对所述分割图像进行缺陷检测， 确定缺陷检 测结果， 包括： 根据预设的分割阈值， 对所述分割图像进行二 值化处理， 得到二 值化后的第一图像； 根据所述缺陷概率和所述第 一图像的所述至少一个第 一连通域， 确定所述缺陷检测结 果。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述缺陷概率和所述第 一图像的 所述至少一个第一连通 域， 确定所述 缺陷检测结果， 包括： 根据所述第一图像的所述至少一个第一连通域中每个第一连通域的周长和/或面积， 判断所述至少一个第一连通 域中是否为有效的第一 缺陷； 在所述至少一个第一连通域为有效的第一缺陷的情况下， 输出有缺陷结果， 所述有缺 陷结果包括每 个第一缺陷的缺陷位置和所述第一 缺陷对应的所述 缺陷概率， 或者， 在所述至少一个第 一连通域中无有效的第 一缺陷的情况下， 判断初始迭代阈值是否大 于预设的最小分割阈值， 所述初始迭代阈值为所述分割图像中最大像素值与预设比例的乘 积； 在所述初始迭代阈值小于所述 最小分割阈值的情况 下， 输出无缺陷结果； 或者， 在所述初始迭代阈值大于或等于所述最小分割阈值的情况下， 根据初始迭代阈值， 对 所述分割图像进行二 值化处理， 得到二 值化后的第二图像； 根据所述缺陷概率和所述第 二图像的所述至少一个第 二连通域， 确定所述缺陷检测结 果。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述缺陷概率和所述第 二图像的权　利　要　求　书 1/3 页 2 CN 115294025 A 2所述至少一个第二连通 域， 确定所述 缺陷检测结果， 包括： 根据所述第二图像中至少一个第二连通域的周长和/或面积， 判断所述至少一个第二 连通域中是否为有效的第二 缺陷， 在所述至少一个第二连通域为有效的第二缺陷的情况下， 输出有缺陷结果， 所述有缺 陷结果包括周长最长和/或面积最大 的第二连通域对应的第二缺陷的缺陷位置， 和所述第 二缺陷对应的缺陷概 率， 或者， 在所述至少一个第 二连通域中无有效缺陷的情况下， 判断更新后的迭代阈值是否大于 预设的最小分割阈值， 所述更新后的迭代阈值 为更新前的迭代阈值与预设比例的乘积； 在所述更新后的迭代阈值小于所述 最小分割阈值的情况 下， 输出无缺陷结果； 或者， 在所述更新后的迭代阈值大于或等于所述最小分割阈值的情况下， 根据 所述更新后的 迭代阈值， 对所述分割图像进行二 值化处理， 更新第二图像； 对更新后的第二图像重复执行所述根据所述第二图像中至少一个第二连通域的周长 和/或面积， 判断所述至少一个第二连通域中是否为有效的第二缺陷以及之后的步骤， 直至 输出无缺陷结果， 或者， 有缺陷结果。 6.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 所述分类信 息和所述分割图像 是通过神经网络获取的， 所述神经网络包括特征提取网络、 分类网络、 以及分割网络， 所述 分类网络和所述分割网络均 与所述特 征提取网络连接， 所述对所述待检测图像进行分类处理， 确定所述待检测图像的分类信息， 以及对所述 待检测图像进行分割处 理， 得到分割图像， 包括： 利用所述特 征提取网络对所述待检测图像进行 特征提取， 得到 至少一组特 征图； 利用所述分类网络对所述至少一组特 征图进行分类处 理， 得到所述分类信息， 以及 利用所述分割网络对所述至少一组特 征图进行分割处 理， 得到所述分割图像； 其中， 所述神经网络是通过训练数据集训练好的神经网络， 所述训练数据集是由数据 清洗处理和标注后的样本图像构成的， 所述样本图像是图像采集设备在不同光源方向， 拍 摄到所述待检测物体带有不同明暗分布的图像的合成图像。 7.根据权利要求1 ‑6中任一项所述的方法， 其特 征在于， 所述获取待检测图像， 包括： 获取所述待检测物体的至少两帧初始图像， 所述至少两帧初始图像是图像采集设备在 不同光源方向， 拍摄到所述待检测物体带有不同明暗分布的图像； 将所述待检测物体的初始图像进行合并处 理， 得到合并后的待检测图像。 8.一种缺陷检测装置， 其特 征在于， 包括： 获取模块， 用于获取待检测图像； 确定模块， 用于对所述待检测图像进行分类处理， 确定所述待检测图像的分类信 息， 所 述分类信息包括所述待检测图像属于每 个缺陷类别的缺陷概 率， 以及 用于对所述待检测图像进行分割处理， 得到分割图像， 所述分割图像包括至少一个待 检测物体对应的至少一个目标区域， 以及待检测物体以外的背景区域； 判断模块， 用于根据 所述分类信息， 判断是否对所述分割图像进行缺陷检测， 得到判断 结果； 检测模块， 用于在判断结果为进行缺陷检测的情况下， 根据所述分类信息和所述分割 图像， 对所述分割图像进 行缺陷检测， 确定缺陷检测结果， 所述缺陷检测结果包括无缺陷结权　利　要　求　书 2/3 页 3 CN 115294025 A 3