(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211483266.7 (22)申请日 2022.11.24 (71)申请人 杭州心识宇宙科技有限公司 地址 310000 浙江省杭州市余杭区仓前街 道仓兴路1号22幢3楼302号 (72)发明人 陈阳　石翔飞　舒会　顾宇鑫　 鲍方毅　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 基于物品识别的智能体交互方法、 装置、 设 备及存储介质 (57)摘要 本发明实施例公开了基于物品识别的智能 体交互方法、 装置、 设备及存储介质。 所述方法包 括： 获取物品图像； 对所述物品图像进行目标检 测， 以得到检测结果； 对所述检测结果进行物品 类型识别， 以得到物品识别结果； 根据所述物品 识别结果注入智能体， 以得到注入智能体的物 品， 使得用户与注入智 能体的物品进行交互。 通 过实施本发明实施例的方法可实现物品真正站 在物品的视角与用户进行交 互。 权利要求书2页 说明书9页 附图4页 CN 115546566 A 2022.12.30 CN 115546566 A 1.基于物品识别的智能体交 互方法， 其特 征在于， 包括： 获取物品图像； 对所述物品图像进行目标检测， 以得到检测结果； 对所述检测结果进行物品类型识别， 以得到物品识别结果； 根据所述物品识别结果注入智能体， 以得到注入智能体的物品， 使得用户与注入智能 体的物品进行交 互。 2.根据权利要求1所述的基于物品识别的智能体交互方法， 其特征在于， 所述对所述物 品图像进行目标检测， 以得到检测结果， 包括： 采用目标检测模型对所述物品图像进行目标检测， 以得到检测结果。 3.根据权利要求2所述的基于物品识别的智能体交互方法， 其特征在于， 所述目标检测 模型是以YOLOV5模型为基础， 通过模型剪枝、 通道剪枝、 减少Anchor的方式， 结合非极大值 抑制算法实现的。 4.根据权利要求1所述的基于物品识别的智能体交互方法， 其特征在于， 所述对所述检 测结果进行物品类型识别， 以得到物品识别结果， 包括： 对所述检测结果进行物品视 觉特征提取， 以得到提取 结果； 根据所述 提取结果进行 特征检索， 以得到检索结果； 根据所述检索结果确定物品类型， 以得到物品识别结果。 5.根据权利要求4所述的基于物品识别的智能体交互方法， 其特征在于， 所述对所述检 测结果进行物品视 觉特征提取， 以得到提取 结果， 包括： 对所述检测结果采用基于MobileNetv2的识别网络进行物品特征提取， 以得到提取结 果。 6.根据权利要求4所述的基于物品识别的智能体交互方法， 其特征在于， 所述根据 所述 提取结果进行 特征检索， 以得到检索结果， 包括： 通过开源的FAISS框架建立特征检索引擎， 并选择乘积量化优化索引， 检索与所述提取 结果相似的目标物品， 以得到检索结果。 7.根据权利要求4所述的基于物品识别的智能体交互方法， 其特征在于， 所述根据 所述 检索结果确定物品类型， 以得到物品识别结果， 包括： 筛选符合要求的检索结果， 以得到 筛选结果； 对所述筛 选结果采用非极大值抑制算法消除边界框， 以得到物品识别结果。 8.基于物品识别的智能体交 互装置， 其特 征在于， 包括： 图像获取 单元， 用于获取物品图像； 目标检测单 元， 用于对所述物品图像进行目标检测， 以得到检测结果； 识别单元， 用于对所述检测结果进行物品类型识别， 以得到物品识别结果； 注入单元， 用于根据 所述物品识别结果注入智能体， 以得到注入智能体的物品， 使得用 户与注入智能体的物品进行交 互。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器及处理器， 所述存储器上 存储有计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1至7中任一项所述 的方法。 10.一种存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计算机程序被权　利　要　求　书 1/2 页 2 CN 115546566 A 2处理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115546566 A 3