(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210316855.X (22)申请日 2022.03.28 (71)申请人 香港中文大 学 （深圳） 地址 518000 广东省深圳市龙岗区龙翔大 道2001号 (72)发明人 韩晓光　熊张洋　崔曙光　 (74)专利代理 机构 深圳尚业知识产权代理事务 所(普通合伙) 44503 专利代理师 王利彬 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种垃圾种类识别方法、 装置、 计算机设备 及存储介质 (57)摘要 本申请实施例属于计算机视觉处理技术领 域， 涉及一种基于X光的垃圾目标识别方法、 装 置、 计算机设备及存储介质。 本申请基于由易到 难的分解策略， 能够高效的提取X光图片中的边 缘信息， 并有效的解决X光垃圾图像下各类目标 间重叠遮挡导致的漏检与误检问题， 可实现在不 拆开垃圾袋情况下识别袋中各类垃圾， 并提高X 光图像的识别准确率。 权利要求书2页 说明书14页 附图8页 CN 114742989 A 2022.07.12 CN 114742989 A 1.一种基于X光的垃圾目标识别方法， 其特 征在于， 包括下述 步骤： 获取待识别垃圾的原 始X光图像； 对所述原 始X光图像进行 特征提取操作， 得到原 始特征信息； 根据所述原始特征信息对所述原始X光图像中的所述待识别垃圾进行目标识别操作， 得到目标识别框， 其中， 所述目标识别框包括简单识别框以及困难识别框； 根据分割网络以及所述简单识别框的掩码信息对所述困难识别框的待识别垃圾进行 分割操作， 得到分割识别框； 所述简单识别框以及所述分割识别框即为所述待识别垃圾的目标识别结果。 2.根据权利要求1所述的基于X光的垃圾目标识别方法， 其特征在于， 所述原始特征信 息包括图像特征信息以及热力特征信息， 所述对所述原始X光图像进 行特征提取操作， 得到 原始特征信息的步骤， 具体包括下述 步骤： 根据残差神经网络对所述原始X光图像进行图像特征提取操作， 得到所述图像特征信 息； 根据全局结构指导模型对所述原始X光图像进行热力特征提取操作， 得到所述热力特 征信息。 3.根据权利要求2所述的基于X光的垃圾目标识别方法， 其特征在于， 所述根据所述原 始特征信息对所述原始X光图像中的所述待识别垃圾进行目标识别操作， 得到目标识别框 的步骤， 具体包括下述 步骤： 根据特征金字塔网络对所述图像特征信 息以及所述热力特征信 息进行融合操作， 得到 特征融合信息； 根据全卷积单阶段目标检测模型在所述特征融合信 息中识别目标对象， 得到所述目标 识别框。 4.根据权利要求3所述的基于X光的垃圾目标识别方法， 其特征在于， 所述目标识别框 还包括预测置信度， 所述根据全卷积单阶段目标检测模型在所述特征融合信息中识别目标 对象， 得到所述目标识别框的步骤之后， 还 包括下述 步骤： 将预测置信度大于或等于 置信度阈值的目标识别框作为所述简单识别框； 将置信度小于所述置信度阈值的目标识别框作为所述困难识别框 。 5.根据权利要求3所述的基于X光的垃圾目标识别方法， 其特征在于， 在所述根据全卷 积单阶段目标检测模型在所述特征融合信息中识别目标对象， 得到所述目标识别框的步骤 之前， 还包括下述 步骤： 计算所述全卷积单阶段目标检测模型的检测损失函数， 并根据 所述检测损失函数对所 述全卷积单阶段目标检测模型进行调优操作， 其中， 所述检测损失函数表示 为： Ldetect＝Lregression+Lcenter+Lclasses 其中， Lregression表示回归损失； Lcenter表示检测器中心 点回归损失； Lclasses表示检测器分 类损失。 6.根据权利要求1所述的基于X光的垃圾目标识别方法， 其特征在于， 所述根据分割 网 络以及所述简单识别框的掩码信息对所述困难识别框的待识别垃圾进 行分割操作， 得到分 割识别框的步骤之前， 还 包括下述 步骤： 计算所述分割网络的分割损失函数， 并根据 所述分割损失函数对所述分割网络进行调权　利　要　求　书 1/2 页 2 CN 114742989 A 2优操作， 其中， 所述分割损失函数表示 为： Lmask＝ λ1Le+λ2Lh+λ3Lheatmap Le＝LOcculder(Me)+LOcculdee(Me) Lh＝LOcculder(Mh)+LOcculdee(Mh) 其中， 所述LOcculder表示遮挡者的掩码损失函数； LOcculdee表示被遮挡着掩码损失函数； Lheatmap表示全局边 缘损失函数； J表示各边 缘热度图； LMSE表示均方误差 。 7.一种基于X光的垃圾目标识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取待识别垃圾的原 始X光图像； 特征提取模块， 用于对所述原 始X光图像进行 特征提取操作， 得到原 始特征信息； 目标识别模块， 用于根据所述原始特征信息对所述原始X光图像中的所述待识别垃圾 进行目标识别操作， 得到目标识别框， 其中， 所述目标识别框包括简单识别框以及困难识别 框； 框分割模块， 用于根据分割网络以及所述简单识别框的掩码信 息对所述困难识别框的 待识别垃圾进行分割操作， 得到分割识别框； 结果确认模块， 用于所述简单识别 框以及所述分割识别 框即为所述待识别垃圾的目标 识别结果。 8.根据权利要求7所述的基于X光的垃圾目标识别装置， 其特征在于， 所述原始特征信 息包括图像特 征信息以及热力特 征信息， 所述特 征提取模块包括： 图像特征提取子模块， 用于根据残差神经网络对所述原始X光图像进行图像特征提取 操作， 得到所述图像特 征信息； 热力特征提取子模块， 用于根据全局结构指导模型对所述原始X光图像进行热力特征 提取操作， 得到所述热力特 征信息。 9.一种计算机设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机可 读指令， 所述处理器执行所述计算机可读指 令时实现如权利要求 1至6中任一项 所述的基于 X光的垃圾目标识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 可读指令， 所述计算机可读指 令被处理器执行时实现如权利要求 1至6中任一项 所述的基于 X光的垃圾目标识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114742989 A 3