(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070820.9 (22)申请日 2022.09.02 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号西 安电子科技大 学 (72)发明人 贺王鹏　刘伟　周悦　胡德顺　 (74)专利代理 机构 西安长和专利代理有限公司 61227 专利代理师 何畏 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 运动动作纠正方法、 系统、 存储介质、 计算机 设备及终端 (57)摘要 本发明属于计算机视觉技术领域， 公开了一 种运动动作纠正方法、 系统、 存储介质、 计算机设 备及终端， 该方法包括： 人体运动姿态识别数据 的收集； 运动动作分类神经网络模 型的设计以及 模型的训练； 单帧图像姿态的对比和动作时间序 列的DTW(Dynamic  Time Warping， 动态时间归 整)距离比对。 本发明采用由普通USB摄像头获取 人体运动图像， 通过笔记本电脑进行人体姿态识 别神经网络模 型结构的推理， 通过骨架提取和姿 态分类， 并完成错误动作比对纠正， 通用性高， 计 算量小， 精确度较高， 很好的满足了日常生活需 求。 本发明使用的关键帧动作和时间序列对比双 重比对策略， 一是通过关键动作来进行针对部位 的动作修正， 二是通过一个完整的动作片段来对 比。 这样的纠正策略相比一般系统来说更加精确 和合理。 权利要求书3页 说明书12页 附图2页 CN 115393963 A 2022.11.25 CN 115393963 A 1.一种运动 动作纠正方法， 其特 征在于， 所述 运动动作纠正方法包括以下步骤： 步骤一， 进行 人体运动姿态 识别数据的收集； 步骤二， 进行运动 动作分类神经网络模型的设计以及模型的训练； 步骤三， 进行 单帧图像姿态的对比和动作时间序列的DTW距离比对。 2.如权利要求1所述的运动动作纠正方法， 其特征在于， 所述步骤一中的人体运动姿态 识别数据的收集包括： 数据集信息均采集于日常图像， 从网络上收集运动员视频资料， 并使用视频帧截取的 方式将获得的视频中运动员的某一动作进行截图； 其中， 所述视频资料包含网球运动员单 人的运动过程； 所有静态姿态图片均为三通道彩色RGB， 文件格式为jpg格式； 在一段时长合适的视频 中获得动作标签网球关键动作图像数据集； 在训练中， 将图像数据集划分为训练集、 验证集和测试集； 其中， 所述训练集用于在训 练过程中输入神经网络进 行训练； 所述验证集用于在训练过程中周期性地验证方法的合理 性； 所述测试集用于在完成时对方法的性能进行评估。 3.如权利要求1所述的运动动作纠正方法， 其特征在于， 所述步骤一中的人体运动姿态 识别数据收集后， 还包括图像输入和图像增强； 其中， 所述图像输入和图像增强的方法包 括： 利用图像水平翻转、 垂直翻转、 图像随机旋转0～10度、 图像亮度随机变化、 图像对比度 随机变化、 图像扭曲、 图像缩放在内的七种图像增强策略， 最终以两两组合的方式对输入模 型的训练图像进行增强。 4.如权利要求1所述的运动动作纠正方法， 其特征在于， 所述步骤二中的人体姿态识别 的神经网络的设计包括： 采用Cascade  PoseNet神经网络对收集的人体运动姿态数据集进行训练， 输入是单人 运动姿态图像， 输出 是2D图像中人体姿态关键点的坐标和该图像中的动作的类别； 网络由PoseNet人体姿态估计网络作为backbone和分类网络组成， 整个网络中的 PoseNet部分输出17个人体姿态关键点， 包含鼻子， 左眼， 右眼， 左耳， 右耳， 左肩， 右肩， 左 肘， 右肘， 左腕， 右腕， 左髋， 右髋， 左膝， 右膝， 左踝， 右踝； 同时将17个点作为特征， 输入后续 分类网络 部分做分类， 得到图像中动作的类别； 其中Cascade  PoseNet中的PoseNet部分为人体运动姿态估计网络， PoseNet的核心架 构为MobileNetv1， 由28层构成， 第一层采用标准卷积核， 其余的卷积层均用深度可分离卷 积； 其中， 所述卷积层用于对输入图像数据进行卷积运算， 在对输入图像进行分析训练的 过程中， 神经网络由浅 到深逐渐提取手势图像数据集特 征进行分析； 基本的卷积 操作如下： 其中， x为卷积输入的图像， h为卷积核， y为卷积后的结果， 卷积操作是基于深度学习的 图像处理中基本的计算方法， 通过对卷积核进行参数更新， 实现对输入图像特征提取 的效 果；权　利　要　求　书 1/3 页 2 CN 115393963 A 2所述批标准层， 用于通过一定的规范化手段， 把每层神经网络任意神经元向非线性函 数映射后逐渐向取值区间极限饱和区靠拢的输入值的分布强行拉回到均值0方差为1的比 较标准的正态分布； 使非线性变换函数的输入值 落入对输入比较敏感的区域； 在神经网络的最后部分使用dropout层进行正则化， 并使用全连接层进行分类得到神 经网络预测的结果， 最后输出17维的向量， 分别代表对测试图像进行预测得到人体姿态关 键点的x， y坐标和置信度以及该动作的类别。 5.如权利要求1所述的运动动作纠正方法， 其特征在于， 所述步骤二中的运动动作分类 神经网络模型的训练包括： 在设计好用于训练的姿态动作估计神经网络后， 将数据集中的训练集输入到网络 中进 行计算； 训练过程使用5折交叉验证的方法， 将训练集分成5个大小相同的互斥子集， 并且每 个子集中7种图像的数量比接 近1： 1： 1； 从5个子集中任意挑选一个作为训练时的验证集， 剩下的四个子集作为训练集； 以此类 推， 总共训练5个批次， 每 个子集都分别作一次验证集， 每 个批次训练20个回合； 训练过程 中采取的批次为32， 优化函数为Adam优化器， 其 中动量参数为0.9、 0.99， 初始 学习率为0.01； 在每个回合中有目的地对学习率进行衰减， 至最后一个回合学习率衰减为 0.00001； 在训练中加入early  stopping策略， 如果在每一个周期计算模型在验证集上的误差， 每15次epoch计算一次； 当模型在 验证集上误差比上一次训练结果差的时候停止训练， 并使 用上一次迭代结果中的参数作为模型的最终参数。 6.如权利要求1所述的运动动作纠正方法， 其特征在于， 所述步骤三中的单帧图像姿态 的对比和动作时间序列的DTW距离比对 包括： (1)视频流中的动作片段截取 对用户实时使用摄像头时候采集的视频流， 对于每一帧图像， 输入到Cascade  PoseNet 网络进行人体姿态关键点坐标提取， 并完成分类， 得到已经分类完成的单一动作帧； 将得到 的单一动作帧， 在视频流中与其对应的帧进行匹配， 并截取出匹配的动作帧之间的一段时 间序列； 其中完成匹配的动作组合是正手引拍和正手挥拍完成、 反手引拍和反手挥拍完成， 其 余动作都主 要完成单帧图像的纠正即可； 针对标准图像数据集输入到Cascade  PoseNet网络中， 使用 动作帧捕捉以及动作帧时 间序列匹配， 再针对用户通过摄像头读取 的视频流完成帧截取， 得到标准对照组和用户待 测数据组； (2)单帧动作比对和DTW动作片段距离比对 其中单帧图像对比纠正和时间序列DTW对比纠正， 均采用vote的方式进行； Vote方式代 表投票方式， 包括： 确定关键动作点， 针对关键点的坐标值进行逐个比对， 判断运动不到位部位， 选取比例 最大的建议， 投票得到最 合理的纠正建议； 对于DTW时间序列的动作比对， 先进行时间序列的作用说明， 该时间序列是一段一维信 号， 其中横轴代表的是时间， 单位是毫秒， 纵轴代表的是某一个人体关键点的x值或y值， 该 时间空间信号用于反映在一个完整的单一动作过程中某一部位的变化过程， 其中包括的两权　利　要　求　书 2/3 页 3 CN 115393963 A 3