(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608268.8 (22)申请日 2022.05.31 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 班晓娟　杨雪元　姚超　孙金胜　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/73(2017.01) (54)发明名称 一种基于RGBD视频数据的实时步态分析方 法及装置 (57)摘要 本发明提供了一种基于RGBD视频数据的实 时步态分析方法及装置， 涉及人体姿态估计和 RGBD三维重构技术领域。 包括： 采用深度学习方 法对实时图像进行人体各关节 二维关键点提取， 并通过基于深度相机的三维重构技术获得人体 各关节关键点三维坐标； 通过三维关键点坐标进 行初始步态 参数的提取， 包括部分关节角度及关 节之间的距离信息， 并将初始步态 参数保存到存 储器当中； 对采集到的步态参数进行数据处理， 包括剔除无用信息点、 数据插值、 计算步频、 步 速、 步态参数统计数据； 基于处理得到的数据进 行图像生 成并可视化， 包括处理后的步态参数的 分析图谱。 本发 明通过深度学习人体姿态估计框 架完成对于步态参数的提取， 使步态分析更加高 效精确。 权利要求书2页 说明书13页 附图10页 CN 115100677 A 2022.09.23 CN 115100677 A 1.一种基于RGBD视频 数据的实时步态分析 方法， 其特 征在于， 包括以下步骤： S1： 采用深度学习方法对实时图像进行人体各关节二维关键点提取， 并通过RGBD三维 重构技术获得人体各关节关键点 三维坐标； S2： 根据人体关键点三维坐标计算初始步态参数， 对采集到的初始步态参数进行数据 统计处理， 获得统计处 理数据； S3： 保存计算得到的初始步态参数以及 初始步态参数的统计处 理数据； S4： 根据所述初始步态参数以及初始步态参数的统计处理数据， 生成处理后的步态参 数的分析图谱， 完成基于RGBD视频 数据的实时步态分析。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S1中， 采用深度学习方法对实时 图像进行人体各关节 二维关键点提取， 并通过RGBD三 维重构技术 获得人体各关节关键点三 维坐标， 包括： S11： 提取所述实时图像的浅层特征和深层特征， 获得一组特征图； 对所述特征图通过 两分支多阶段CN N进行分支预测， 获得 预测结果； S12： 根据预测结果生成图像中人的2D关键点； 通过RGBD三维重构技术， 根据同一场景 下深度图与彩色图的映射关系获取 人体各关节关键点 三维坐标。 3.根据权利要求2所述的方法， 其特征在于， 所述步骤S11中， 提取所述实时图像的浅层 特征和深层特征， 获得一组特征图； 对所述特征图通过两分支多阶段CNN进行分支预测， 获 得预测结果， 包括： 使用VGG‑19提取所述实时图像的浅层特征和深层特征， 得到一组特征图； 生成身体部 位置信度图和二维向量亲和度图， 对于得到的特征图， 使用两分支多阶段CNN， 其中一个分 支预测一组身体部位位置的2D置信度图； 另一个分支预测一组二维向量场的部分亲和度， 它对身体部位之间的关联程度进行编码。 4.根据权利要求1所述的方法， 其特征在于， 所述步骤S2中， 根据人体关键点坐标计算 初始步态参数， 对 采集到的初始步态参数进行 数据统计处 理， 获得统计处 理数据， 包括： S21： 利用提取出的人体关键点， 计算反应人行走时的姿态和行为特征的初始步态参 数； 所述初始步态参数包括： 关节角度及关节之间的距离信息； S22： 对初始步态参数进行筛 选， 去除初始步态参数中值 为空以及置信度低的数据点； S23： 对于 筛选后的步态参数进行插值并据此计算 步频、 步速、 步态参数统计数据。 5.根据权利要求4所述的方法， 其特征在于， 所述步骤S21中， 根据下述公式(1)对关节 角度 θ进行计算： 其中， a,b表示由三维关键点构成的两个关节向量。 6.根据权利要求4所述的方法， 其特征在于， 所述步骤S21中， 根据下述公式(2)对关节 角度及关节之间的距离d进行计算： 其中， x,y， z表示表示 三维关键点 坐标。 7.根据权利要求4所述的方法， 其特征在于， 所述步骤S23中， 步频定义为左臀至左 膝盖权　利　要　求　书 1/2 页 2 CN 115100677 A 2向量与右臀至右膝盖 向量之间夹角由最大值变为最小值再变为最大值的过程为一个步态 周期， 反应在该角度随时间变化图上则为连续两个角度值达到最大值的时间点之间的图 像； 根据下述公式(3)计算 步频： Stride_Frequency＝时间t内人 走过的步数/时间t     (3)。 8.根据权利要求4所述的方法， 其特征在于， 所述步骤S23中， 定义时间t内人同一只脚 脚跟移动距离为人走过的距离， 跟踪计算左脚跟或右脚 跟在时间t内移动的距离， 根据下述 公式(4)计算 步频： Speed_Walking＝时间t内人 走过的距离 /时间t    (4)。 9.根据权利要求1所述的方法， 其特征在于， 所述步骤S4中， 处理后的步态参数的分析 图谱包括： 步态参数随时间变化图、 步态参数 统计数据条形图、 预设时间内同一受试者步态 参数统计数据随时间变化图。 10.一种基于RGBD视频数据的实时步态分析装置， 其特征在于， 所述装置适用于上述权 利要求1‑9中任意一项的方法， 装置包括： 人体关键点提取模块， 用于采用深度 学习方法对实时图像进行人体各关节二维关键点 提取， 并通过RGBD三维重构技 术获得人体各关节关键点 三维坐标； 数据处理模块， 用于根据人体关键点坐标计算初始步态参数， 对采集到的初始步态参 数进行数据统计处 理， 获得统计处 理数据； 数据保存模块， 用于保存数据处理模块计算得到的初始步态参数以及初始步态参数的 统计处理数据； 基本图形绘制模块， 用于根据所述初始步态参数以及初始步态参数的统计处理数据， 生成处理后的步态参数的分析图谱， 完成基于RGBD视频 数据的实时步态分析。权　利　要　求　书 2/2 页 3 CN 115100677 A 3