(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074043 3.5 (22)申请日 2022.06.28 (71)申请人 深圳市奋达智能技 术有限公司 地址 518108 广东省深圳市宝安区石岩街 道宝源社区奋达工业园厂房A五层、 研 发办公楼5层 及二期2号楼1至 5层 (72)发明人 陈达权　肖晓　 (74)专利代理 机构 广州市越秀区哲力专利商标 事务所(普通 合伙) 44288 专利代理师 赵子强 (51)Int.Cl. G16H 20/30(2018.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向视觉场景的活动卡路里消耗计算 方法及装置 (57)摘要 本发明公开了一种面向视觉场景的活动卡 路里消耗计算方法及装置， 涉及运动健康领域， 特别涉及一种面向视觉场景的活动卡路里消耗 计算方法及装置； 通过视觉场景下深度摄像头利 用计算机视觉技术获取到用户的人体骨骼关键 点， 并基于所 获取的人体骨骼关键点根据微分思 想获取用户身体对应部分的三轴速度及加速度， 最终基于人体力学模型计算出用户被检测时间 段内的活动卡路里消耗值； 其可适用于视觉场景 下的任何场景， 大大提升对用户真实活动卡路里 计算的准确性和精确度； 使用户能够在游戏过程 中享受快乐的同时， 对运动激发更大的积极性， 大大增强其在体感游戏中的获得感。 权利要求书2页 说明书8页 附图2页 CN 115171844 A 2022.10.11 CN 115171844 A 1.一种面向视 觉场景的活动卡路里消耗计算方法， 其特 征在于， 包括以下步骤： S1： 骨骼关键点检测模型初始化； S2： 获取视 觉场景下的相机标定参数， 以及用户体重参数； S3： 通过深度摄像头， 且根据确定的拍照频率， 获取RGB图像和深度图像， 并导入所述骨 骼关键点检测模型； 通过所述骨骼关键点检测模型计算出对应的各个人体骨骼关键点的三 维坐标； S4： 根据确定的拍照频率、 相机标定参数、 用户体重参数以及各个人体骨骼关键点的三 维坐标， 计算出 各个人体骨骼关键点对应卡路里消耗 量； S5： 根据各个人体骨骼关键点对应卡路里消耗 量计算出总卡路里消耗 量； S6： 重复步骤S3 至S5， 计算出累计卡路里消耗 量。 2.根据权利要求1所述的一种面向视觉场景的活动卡路里消耗计算方法， 其特征在于， 所述步骤S1包括以下步骤： S11： 创建骨骼关键点检测模型， 所述骨骼关键点检测模型包括深度卷积网络； 利用高 斯分布随机数初始化所述深度卷积网络的各个权值和阈值。 3.根据权利要求2所述的一种面向视觉场景的活动卡路里消耗计算方法， 其特征在于， 所述步骤S1还 包括以下步骤： S12： 获取包 含整个人体的图像数据并标定， 生成训练样本； S13： 在所述骨骼关键点检测模型中输入所述训练样本， 对骨骼关键点检测模型进行训 练， 更新所述深度卷积网络中的各个权值和阈值。 4.根据权利要求3所述的一种面向视觉场景的活动卡路里消耗计算方法， 其特征在于， 所述步骤S13包括以下步骤： S131： 选取已标定训练样本输入到深度卷积网络， 并按照前向传播的公式计算各个人 体骨骼关键点对应的坐标值； S132： 按照误差公式计算出所述步骤S131输出的坐标值和对应的已标定训练样本的标 定的坐标值间的误差值； S133： 基于所述坐标值间的误差值按照反向传播算法更新深度全卷积网络 中的各个权 值和阈值； S134： 重复上述 步骤S131至S13 3， 直至误差值小于预设误差或重复次数达 到预设次数。 5.根据权利要求1至4任一项所述的一种面向视觉场景的活动 卡路里消耗计算方法， 其 特征在于： 所述用户体重参数包括： 体重以及身体各部位的重量比例参数； 所述人体骨骼关键点包括： 左手腕标记点、 右手腕标记点、 左脚裸标记点、 右脚裸标记 点和锁骨标记点。 6.根据权利要求1至4任一项所述的一种面向视觉场景的活动 卡路里消耗计算方法， 其 特征在于， 所述 步骤S3包括： 根据所述RGB图像获取各人体骨骼关键点对应的二维坐标， 同时根据所述深度图像获 取各人体骨骼关键点所对应的像素值； 根据所述各人体骨骼关键点对应的二维坐标、 像素值和所述相机标定参数， 计算出所 述各人体骨骼关键点对应的三维坐标。权　利　要　求　书 1/2 页 2 CN 115171844 A 27.根据权利要求6所述的一种面向视觉场景的活动卡路里消耗计算方法， 其特征在于， 所述步骤S4包括： 根据各人体骨骼关键点对应的各个时间序 上的三维坐标点， 计算出各个相邻时间序 下 的各个人体骨骼关键点对应的三轴速度值及加速度值； 根据所述各个人体骨骼关键点对应的三轴速度值及加速度值， 计算出各时间序对应的 人体骨骼关键点的各个卡路里消耗 量。 8.一种采用权利要求1至7任一项所述的一种面向视觉场景的活动卡路里消耗计算方 法的活动卡路里消耗计算装置， 其特征在于， 包括： 训练模块、 摄影模块、 关键点识别模块和 卡路里计算模块； 所述训练模块用于训练骨骼关键点检测模型； 所述摄影模块用于获取RGB图像和深度图像； 所述关键点识别模块内置有骨骼关键点检测模型， 用于通过获取的RGB图像和深度图 像识别并计算出 各时间序下的人体骨骼关键点的三维坐标； 所述卡路里计算模块用于根据 各时间序下的人体骨骼关键点的三维坐标， 计算出对应 的卡路里消耗 量。 9.一种计算设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机指令， 其特征在于， 所述处理器执行所述指令时实现权利要求1至7任意一项所述的一种 面向视觉场景的活动卡路里消耗计算方法的步骤。 10.一种计算机可读存储介质， 其存储有计算机指令， 其特征在于， 该指令被处理器执 行时实现权利要求1至7任意一项所述的一种面向视觉场景 的活动卡路里消 耗计算方法的 步骤。权　利　要　求　书 2/2 页 3 CN 115171844 A 3