(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210289652.6 (22)申请日 2022.03.23 (71)申请人 青岛海尔科技有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 刘彦甲　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 刘旺贵 (51)Int.Cl. G06V 20/68(2022.01) G06T 7/62(2017.01) G16H 20/60(2018.01) G06F 16/23(2019.01)G06V 10/12(2022.01) G01C 3/00(2006.01) (54)发明名称 食材信息的确定方法和装置、 存储介质及电 子装置 (57)摘要 本申请公开了一种食材信息的确定方法和 装置、 存储介质及电子装置， 涉及智慧家庭技术 领域， 方法包括： 在3D单点摄像头检测到冰箱抽 屉被打开的情况下， 启动深度摄像头， 以通过深 度摄像头对冰箱抽 屉内的食材进行拍照； 获取深 度摄像头所采集到的食材的第一图像和食材对 应的第一深度信息； 根据第一深度信息确定食材 的存取状态和食 材的位置信息， 以及对第一图像 进行识别， 以确定第一图像中的食材的食材种 类； 在根据位置信息再次确认食 材位于冰箱抽屉 内的情况下， 根据食材的存取状态和食材种类调 整食材信息， 其中， 食材信息为冰箱抽屉存储的 食材的信息， 采用上述技术方案， 解决了无法对 冰箱抽屉进行食材识别的问题。 权利要求书2页 说明书10页 附图3页 CN 114758338 A 2022.07.15 CN 114758338 A 1.一种食材信息的确定方法， 其特 征在于， 包括： 在3D单点摄像头检测到冰箱抽屉被打开的情况下， 启动深度摄像头， 以通过所述深度 摄像头对所述冰箱抽屉内的食材进行拍照； 获取深度摄 像头所采集到的食材的第一图像和所述食材对应的第一深度信息； 根据所述第 一深度信 息确定所述食材的存取状态和所述食材的位置信 息， 以及对所述 第一图像进行识别， 以确定所述第一图像中的所述食材的食材种类； 在根据所述位置信 息再次确 认所述食材位于所述冰箱抽屉内的情况下， 根据 所述食材 的存取状态和所述食材种类调整食材信息， 其中， 所述食材信息为所述冰箱抽屉存储的食 材的信息 。 2.根据权利要求1所述的方法， 其特 征在于， 启动深度摄 像头， 包括： 通过所述3D单点摄 像头获取 所述冰箱抽屉相对于所述冰箱的内壁的第一距离； 确定所述第一距离与第一预设距离的第一大小关系； 在所述第一大小关系指示所述第 一距离大于所述第 一预设距离的情况下， 发送第 一拍 摄指令给 所述深度摄 像头， 以启动所述深度摄 像头。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述食材的存取状态和所述食材种类 调整食材信息之后， 所述方法还 包括： 通过所述3D单点摄 像头获取 所述冰箱抽屉相对于所述冰箱的内壁的第二距离； 确定所述第二距离与第二预设距离的第二大小关系； 在所述第二大小关系指示所述第 二距离等于所述第 二预设距离的情况下， 发送第 二拍 摄指令给 所述深度摄 像头， 以使所述深度摄 像头连续拍摄多张第二图像； 在所述多张第二图像中确定第三图像， 其中， 所述第三图像为所述深度摄像头拍摄的 冰箱抽屉中仅包 含食材的图像， 且所述第三图像的时间戳与当前时间的差值 最小； 识别所述第三图像以确定所述冰箱抽屉中存 储的食材的食材信息 。 4.根据权利要求1所述的方法， 其特征在于， 根据 所述第一深度信 息确定所述食材的存 取状态， 包括： 获取所述食材对应的第二深度信息， 其中， 所述第二深度信息为所述深度摄像头在获 取到所述第一深度信息之前或之后获取到的深度信息； 在所述第二深度信息为所述深度摄像头在获取到所述第一深度信息之前获取到的深 度信息的情况 下， 确定所述食材的存取状态为存 入状态； 在所述第二深度信息为所述深度摄像头在获取到所述第一深度信息之后获取到的深 度信息的情况 下， 确定所述食材的存取状态为取 出状态。 5.根据权利要求1所述的方法， 其特征在于， 根据 所述食材的存取状态和所述食材种类 调整食材信息， 包括： 在所述存取状态为取 出状态的情况 下， 删除所述食材对应的食材信息； 在所述存取状态为存 入状态的情况 下， 增加所述食材对应的食材信息 。 6.根据权利要求1所述的方法， 其特征在于， 根据 所述第一深度信 息确定所述食材的存 取状态和所述食材的位置信息， 以及对所述第一图像进行识别的过程中， 所述方法还 包括： 获取深度摄像头采集到的食材的点云信息， 以及对所述点云信息进行识别， 得到所述 食材的第一体积；权　利　要　求　书 1/2 页 2 CN 114758338 A 2根据所述食材类型确定所述食材的体积和热量的对应关系； 根据所述食材的体积和热量的对应关系确定所述食材的热量。 7.根据权利要求6所述的方法， 其特征在于， 根据 所述食材的存取状态和所述食材种类 调整食材信息之后， 所述方法还 包括： 在所述存取状态为取出状态的情况下， 获取所述食材的热量， 以及获取目标对象的健 康状况； 根据所述热量、 食材种类和所述目标对象的基本信息确定目标饮食 食谱； 将所述目标饮食食谱发送至所述目标对象绑定的终端， 以使所述终端显示所述目标饮 食食谱。 8.一种食材信息的确定装置， 其特 征在于， 包括： 启动模块， 用于在3D单点摄像头检测到冰箱抽屉被打开的情况下， 启动深度摄像头， 以 通过所述深度摄 像头对所述冰箱抽屉内的食材进行拍照； 获取模块， 用于获取深度摄像头所采集到的食材的第 一图像和所述食材对应的第 一深 度信息； 确定模块， 用于根据 所述第一深度信 息确定所述食材的存取状态和所述食材的位置信 息， 以及对所述第一图像进行识别， 以确定所述第一图像中的所述食材的食材种类； 调整模块， 用于在根据所述位置信息再次确认所述食材位于所述冰箱抽屉内的情况 下， 根据所述食材的存取状态和所述食 材种类调整食材信息， 其中， 所述食材信息为所述冰 箱抽屉存 储的食材的信息 。 9.一种计算机可读的存储介质， 其特征在于， 所述计算机可读的存储介质包括存储的 程序， 其中， 所述 程序运行时执 行上述权利要求1至7任一项中所述的方法。 10.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方 法。权　利　要　求　书 2/2 页 3 CN 114758338 A 3