(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550424.X (22)申请日 2022.05.20 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 夏懿　唐正伟　陈鹏　章军　 (74)专利代理 机构 合肥四阅专利代理事务所 (普通合伙) 34182 专利代理师 李苏 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 40/60(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种利用单目摄像头拍摄步态视频全自动 步态分析方法 (57)摘要 本申请涉公开了一种利用单目摄像头拍摄 步态视频全自动步态分析方法， 包括以下步骤： 利用摄像头拍摄目标行走人物， 并获取得到运动 视频； 将运动视频输入多媒体机器学习模型应用 框架中， 并识别出人体骨骼关键点的坐标矩阵和 标准步态 参数； 将坐标生 成矩阵和标准步态参数 输入卷积神经网络中， 并得到预测值； 根据预测 值调整网络参数， 并继续训练由卷积神经网络构 建的模型； 若卷积神经网络的损失函数收敛到最 小， 且输出预设的预测值， 则将坐标矩阵输入卷 积神经网络构建的并训练得到模 型中， 并获取目 标人物的步态 参数。 本申请实现了利用全身的骨 骼关键点进行卷积神经网络的训练和步态参数 的估计， 需要的硬件条件低， 提高了效率， 以便于 大量普及。 权利要求书1页 说明书5页 附图3页 CN 115019388 A 2022.09.06 CN 115019388 A 1.一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特征在于， 包括以下步 骤： 利用摄像头拍摄目标 行走人物， 并获取 得到运动视频； 将所述运动视频输入多媒体机器学习 模型应用框架中， 并识别出人体骨骼关键点的坐 标矩阵和标准 步态参数； 将所述坐标生成矩阵和所述标准 步态参数输入卷积神经网络中， 并得到预测值； 根据所述预测值调整网络参数， 并继续训练由卷积神经网络构建的模型； 若所述卷积神经网络的损 失函数收敛到最小， 且输出预设的预测值， 则将所述坐标矩 阵输入所述卷积神经网络构建的并训练得到模型中， 并获取目标 人物的步态参数。 2.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 所述多媒体机器学习模型应用框架为MediaPipe框架。 3.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 所述卷积神经网络构建的模型为固定长度的时间序列数据到结果指标的参数化映 射。 4.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 利用均方误差损失函数和交叉熵损失函数对所述卷积神经网络进行训练。 5.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 所述卷积神经网络的输入参数的获取包括以下步骤： 获取人体骨骼关键点 坐标和每 个坐标的置信度； 减去右髋关节的坐标使每 个单变量时间序列居中； 除以右髋关节和右肩之间的欧几里德距离来缩放所有值； 使用一维单位方差高斯滤波器对时间序列进行平 滑处理； 最终处理得到原 始坐标点矩阵； 将所述原 始坐标点矩阵去除全部为0的行， 作为所述卷积神经网络的输入。 6.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 在将所述运动视频输入多媒体机器学习模型应用框架中之前还包括： 将视频的采 集分辨率设置为640 *480。 7.如权利要求1所述的一种利用单目摄像头拍摄步态视频全自动步态分析方法， 其特 征在于， 选用整流线性单 元， 作为每 个所述卷积神经网络中卷积层之后的激活函数。权　利　要　求　书 1/1 页 2 CN 115019388 A 2一种利用单 目摄像头拍摄步态视频全自动步态分析方 法 技术领域 [0001]本申请涉及 步态分析的领域， 尤其是涉及 一种利用单目摄像头拍摄步态视频全自 动步态分析 方法。 背景技术 [0002]对于一些运动障碍型疾病， 比如： 中风、 脑瘫、 帕金森病、 骨关节疾病等， 步态指标 (步速， 步频以及步态偏差指数)已经成为重要的临床诊断指标了。 目前用于临床运动分析 的标准数据主要 是利用实验室里的光学运动捕捉设备测量得出， 这些数据用来进 行病理的 诊断、 治疗计划的制定。 但是这种光学运动 捕捉设备价格十分的高昂， 部 分医学机构以及患 者个人无法负担， 并且该设备的使用条件具有限制， 无法捕捉个体在自然环境中的运动， 只 能获得在实验室采集得到的数据， 这 就可能导 致数据的不完 善从而影响临床的判断。 [0003]目前利用机器学习可以克服实验室运动分析的一些限制， 通过使用机器学习的模 型用来估计步态参数， 但这些模型所需要的数据依然依靠专业设备测量的数据， 比如光学 运动捕捉设备或惯 性测量装置， 依赖硬件的算力， 无法利用在实时进 行步态分析的场景， 从 而导致无法大规模普及， 并且对视频流进 行人体骨骼关键点提取时会丢失一部 分帧的关键 点信息， 从而导 致后面训练深度学习模型时的产生较大误差 。 发明内容 [0004]本申请实施例通过提供一种利用单目摄像头拍摄步态视频全自动步态分析方法， 解决了现有技术中现有模型所需要的数据依然依靠专业设备测量数据， 无法大规模普及的 技术问题， 实现了利用全身的骨骼关键点进行卷积神经网络的训练和步态参数 的估计， 需 要的硬件条件低， 提高了效率， 以便 于大量普及。 [0005]本申请实施例提供了一种利用单目摄像头拍摄步态视频全自动步态分析方法， 包 括以下步骤： 利用摄像头拍摄目标行走人物， 并获取得到运动视频； 将所述运动视频输入多 媒体机器学习模型应用框架中， 并识别出人体骨骼关键点的坐标矩阵和标准步态参数； 将 所述坐标生成矩阵和所述标准步态参数输入卷积神经网络中， 并得到预测值； 根据所述预 测值调整网络参数， 并继续训练由卷积神经网络构建的模型； 若所述卷积神经网络的损失 函数收敛到最小， 且输出预设的预测值， 则将所述坐标矩阵输入所述卷积神经网络构建的 并训练得到模型中， 并获取目标 人物的步态参数。 [0006]进一步地， 所述多媒体机器学习模型应用框架为MediaPipe框架。 [0007]进一步地， 所述卷积神经网络构建的模型为固定长度的时间序列数据到结果指 标 的参数化映射。 [0008]进一步地， 利用均方误差损失函数和交叉熵损失函数对所述卷积神经网络进行训 练。 [0009]进一步地， 所述卷积神经网络 的输入参数的获取包括以下步骤： 获取人体骨骼关 键点坐标和每个坐标 的置信度； 减去右髋关节的坐标使每个单变量时间序列居中； 除以右说　明　书 1/5 页 3 CN 115019388 A 3