(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211316123.7 (22)申请日 2022.10.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 姚锟　 (74)专利代理 机构 北京市通商律师事务所 11951 专利代理师 姜莹丽　许念如 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 20/68(2022.01) (54)发明名称 物品识别和物品识别系统构建方法及装置 (57)摘要 本公开提供一种物品识别和物品识别系统 构建方法及装置， 涉及人工智 能技术领域， 具体 涉及机器学习或深度学习、 计算机视觉、 图像识 别、 图像分类等技术领域， 可应用于物品识别、 物 品分类等场景下。 具体实现方案包括： 获取目标 图像； 将目标图像输入物品二分类模 型进行图像 识别， 得到物品识别结果； 响应于确定物品识别 结果指示目标图像包含物品图像， 将目标图像输 入第一物品识别模型， 得到物品图像对应的第一 物品类型。 本公开可以提高物品识别过程中的物 品召回率、 以及提高物品识别结果的准确度。 权利要求书6页 说明书17页 附图8页 CN 115527069 A 2022.12.27 CN 115527069 A 1.一种物品识别方法， 所述方法应用于物品识别系统， 所述物品识别系统包括： 物品二 分类模型和第一物品识别模型； 所述方法包括： 获取目标图像； 将所述目标图像输入所述物品二分类模型进行图像识别， 得到物品识别结果； 响应于确定所述物品识别结果指示所述目标图像包含物品图像， 将所述目标图像输入 所述第一物品识别模型， 得到所述物品图像对应的第一物品类型。 2.根据权利要求1所述的方法， 所述第 一物品识别模型包括： 物品图像识别模型和物品 图文识别模型； 其中， 所述物品图像识别模型是采用第 一样本物品图像和所述第 一样本物品图像的标 注信息训练得到的， 所述第一样本物品图像的标注信息用于标注所述第一样本物品图像对 应的物品类型； 所述物品图文识别模型是采用第二样本物品图像和所述第二样本物品图像的标注信 息训练得到的， 所述第二样本物品图像的标注信息用于标注所述第二样本物品图像对应的 物品类型、 且所述第二样本物品图像中包 含物品相关的文本信息； 所述将所述目标图像输入所述第 一物品识别模型， 得到所述物品图像对应的第 一物品 类型， 包括： 将所述目标图像输入所述物品图像识别模型进行图像识别， 得到所述物品图像对应的 第一预测物品类型以及所述第一预测物品类型的第一置信度； 将所述目标图像输入所述物品图文识别模型进行图文识别， 得到所述物品图像对应的 第二预测物品类型以及所述第二预测物品类型的第二置信度； 根据所述第 一置信度和所述第 二置信度， 从所述第 一预测物品类型和所述第 二预测物 品类型中获取 所述第一物品类型。 3.根据权利要求2所述的方法， 所述根据所述第 一置信度和所述第 二置信度， 从所述第 一预测物品类型和所述第二预测物品类型中获取 所述第一物品类型， 包括： 根据所述第 一置信度和所述第 二置信度， 从所述第 一预测物品类型和所述第 二预测物 品类型中选择置信度最高的预测物品类型作为所述第一物品类型。 4.根据权利要求2所述的方法， 所述根据所述第 一置信度和所述第 二置信度， 从所述第 一预测物品类型和所述第二预测物品类型中获取 所述第一物品类型， 包括： 获取所述第一置信度的第一权 重、 和对应的所述第二置信度的第二权 重； 根据所述第 一权重和所述第 二权重， 分别对所述第 一置信度和所述第 二置信度进行加 权， 得到加权 置信度； 将所述第一预测物品类型和所述第 二预测物品类型中， 加权置信度最高的预测物品类 型确定为所述第一物品类型。 5.根据权利要求1所述的方法， 所述第一物品识别模型为物品图像识别模型； 其中， 所述物品图像识别模型是采用第 一样本物品图像和所述第 一样本物品图像的标 注信息训练得到的， 所述第一样本物品图像的标注信息用于标注所述第一样本物品图像对 应的物品类型； 所述将所述目标图像输入所述第 一物品识别模型， 得到所述物品图像对应的第 一物品 类型， 包括：权　利　要　求　书 1/6 页 2 CN 115527069 A 2将所述目标图像输入所述物品图像识别模型进行图像识别， 得到所述物品图像对应的 第三预测物品类型以及所述第三预测物品类型的第三置信度； 将所述第三置信度最高的第三预测物品类型确定为所述第一物品类型。 6.根据权利要求1所述的方法， 所述第一物品识别模型为物品图文识别模型； 其中， 所述物品图文识别模型是采用第 二样本物品图像和所述第 二样本物品图像的标 注信息训练得到的， 所述第二样本物品图像的标注信息用于标注所述第二样本物品图像对 应的物品类型、 且所述第二样本物品图像中包 含物品相关的文本信息； 所述将所述目标图像输入所述第 一物品识别模型， 得到所述物品图像对应的第 一物品 类型， 包括： 将所述目标图像输入所述物品图文识别模型进行图文识别， 得到所述物品图像对应的 第四预测物品类型以及所述第四预测物品类型的第四置信度； 将所述第四置信度最高的第四预测物品类型确定为所述第一物品类型。 7.根据权利要求1 ‑6任一项所述的方法， 所述物品识别系统还包括： 第二物品识别模 型； 其中， 所述第 二物品识别模型是采用第 三样本物品图像和所述第 三样本物品图像的标 注信息训练得到的， 所述第三样本物品图像的标注信息用于标注所述第三样本物品图像对 应的物品类型， 且所述第三样本物品图像输入所述第一物品识别模型后、 所述第一物品识 别模型所确定的所述第三样本物品图像对应的预测物品类型的置信度小于预设置信度阈 值； 所述方法还 包括： 获取所述第一物品类型的第五置信度； 响应于确定所述第五置信度小于所述预设置信度阈值， 将所述目标图像输入所述第 二 物品识别模型进行图像识别， 得到所述物品图像对应的第二物品类型。 8.一种物品识别系统构建方法， 所述方法包括： 采用样本 图像以及所述样本 图像的标注信息， 对二分类网络进行训练， 得到物品二分 类模型， 所述样本图像包括物品图像和非物品图像， 所述样本图像的标注信息用于标注所 述样本图像为物品图像或非物品图像， 所述物品二分类模型用于对输入的目标图像进 行图 像识别， 以确定所述目标图像是否包 含物品图像； 采用样本物品图像以及所述样本物品图像的标注信息， 对第一网络进行训练， 得到第 一物品识别模型， 所述样本物品图像的标注信息用于标注所述样本物品图像对应的物品类 型， 所述第一物品识别模型用于在所述 目标图像包含物品图像时， 对所述 目标图像进行图 像识别， 以确定所述物品图像对应的第一物品类型； 根据所述物品二分类模型和所述第一物品识别模型， 构建物品识别系统。 9.根据权利要求8所述的方法， 所述样本物品图像包括： 第 一样本物品图像和第 二样本 物品图像， 所述第二样本物品图像中包含物品相关的文本信息， 所述第一网络包括： 物品图 像识别网络和物品图文识别网络； 所述采用样本物品图像以及所述样本物品图像的标注信息， 对第一网络进行训练， 得 到第一物品识别模型， 包括： 采用所述第 一样本物品图像和所述第 一样本物品图像的标注信 息， 对所述物品图像识权　利　要　求　书 2/6 页 3 CN 115527069 A 3