(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210668939.X (22)申请日 2022.06.14 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 潘华东　魏乃科　殷俊　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 潘平 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 一种人体动作识别方法、 装置及设备 (57)摘要 本申请公开了一种人体动作 识别方法、 装置 及设备， 通过接收包括人体的多帧图像， 根据预 先定义的组成动作的动作基础 要素， 解析各帧图 像中的动作基础要素； 根据解析得到的动作基础 要素， 确定人体各部件间的关联关系以及人体各 部件与其他目标之间的关联关系， 得到每帧图像 中人体对应的肢体状态； 根据预先定义的不同基 础动作对应的肢体状态间的转换关系， 确定所述 多帧图像按照采样时间对应的肢体状态间的转 换关系所匹配的基础动作； 根据不同自定义动作 对应的基础动作组合， 得到所述所匹配的基础动 作对应的自定义动作。 通过该方法可以针对不同 行业的需求进行动作识别。 权利要求书2页 说明书12页 附图4页 CN 115019343 A 2022.09.06 CN 115019343 A 1.一种人体动作识别方法， 其特 征在于， 所述方法包括： 接收包括人体的多帧图像， 根据预先定义的组成动作的动作基础要素， 解析各帧图像 中的动作基础要素； 根据解析得到的动作基础要素， 确定人体各部件 间的关联关系以及人体各部件与其他 目标之间的关联关系， 得到每帧图像中人体对应的肢体 状态； 根据预先定义的不同基础动作对应的肢体状态间的转换关系， 确定所述多帧图像按照 采样时间对应的肢体 状态间的转换关系所匹配的基础动作； 根据不同自定义动作对应的基础动作组合， 得到所述所匹配的基础动作对应的自定义 动作。 2.根据权利要求1所述的方法， 其特征在于， 预先定义的组成动作的动作基础要素包括 如下至少一种： 人体不同部位对应的人体部件、 人体动作时不同部件对应的关键点、 人体部件动作时 不同位置对应的关键点、 与人体动作相关的目标区域、 与人体动作相关的目标物体。 3.根据权利要求1所述的方法， 其特征在于， 根据解析得到的动作基础要素， 确定人体 各部件间的关联关系以及人体各部件与其他目标之 间的关联关系， 得到每帧图像中人体对 应的肢体 状态， 包括： 根据解析得到的动作基础要素， 确定人体各部件间的关联关系、 人体各部件与目标物 体之间的距离和角度、 人体轨 迹的静态关系或动态变化关系。 4.根据权利要求1～3任一所述的方法， 其特 征在于， 还 包括： 预先通过不同样本图像及对应的肢体 状态训练肢体 状态分类模型； 其中， 通过将各帧图像输入肢体状态分类模型， 通过所述肢体状态分类模型解析各帧 图像中的动作基础要素， 及根据解析得到的动作基础要素， 确定人体各部件间的关联关系 以及人体各部件与其 他目标之间的关联关系， 得到每帧图像中人体对应的肢体 状态。 5.根据权利要求1～3任一所述的方法， 其特征在于， 根据解析得到的动作基础要素， 确 定人体各部件间的关联关系以及人体各部件与其他目标之 间的关联关系， 得到每帧图像中 人体对应的肢体 状态， 包括： 获取预先定义的不同肢体状态对应的人体各部件间的关联关系以及人体各部件与其 他目标之间的关联关系的逻辑组合； 根据解析得到的动作基础要素， 确定人体各部件 间的关联关系以及人体各部件与其他 目标之间的关联关系对应的逻辑组合， 得到每帧图像中人体对应的肢体 状态。 6.根据权利要求5所述的方法， 其特征在于， 所述人体各部件 间的关联关系以及人体各 部件与其 他目标之间的关联关系对应的逻辑组合， 包括如下至少一种： 人体动作时不同部件 对应的关键点与人体不同部位对应的人体部件之间的位置关系； 人体动作时不同部件对应的关键点与所述与人体动作相关的目标区域之间、 或与 人体 动作相关的目标物体之间的位置关系； 与上一帧图像数据相比， 人体动作时不同部件 对应的关键点的移动方向和移动速度； 人体动作时不同部件 对应的关键点之间的距离关系； 人体动作时不同部件对应的线段之间的关系， 所述关系包括线段长度之间的比值、 线 段之间是否相交以及线段相交的角度， 所述人体部件线段由预先定义的任意两个人体部件权　利　要　求　书 1/2 页 2 CN 115019343 A 2关键点构建； 手指指向， 所述指向包括向上指向、 向下指向、 向左指向、 向右指向中的至少一种。 7.根据权利要求2所述的方法， 其特征在于， 得到每帧图像中人体对应的肢体状态之 后， 还包括： 确定每帧图像中人体相对于采集设备的人体方向， 得到不同人体方向对应的肢体状 态； 其中人体方向包括： 人体正面向采集设备、 人体正背向采集设备、 人体面向采集设备并 倾斜、 人体背向采集设备并倾 斜、 人体左侧面向采集设备、 人体右侧面向采集设备。 8.根据权利要求3所述的方法， 其特征在于， 所述预先定义的不同基础动作对应的肢体 状态间的转换关系， 包括如下至少一种： 预先定义各基础动作对应的至少一个肢体状态， 及所述至少一个肢体状态对应的转换 关系， 及对应的至少一个伴随肢体 状态及所述至少一个伴随肢体 状态的转换关系； 其中， 解析所述人体各部件间的关联关系得到肢体状态， 解析人体各部件与物体之间 的距离和角度、 人体轨 迹的静态关系或动态变化关系得到伴随转换关系。 9.根据权利要求8所述的方法， 其特 征在于， 所述至少一个肢体状态对应的转换关系， 包括多帧图像对应的肢体状态为一个的持续 模式， 及多帧图像对应的肢体 状态为多个时， 按照预定的顺序进行切换的状态转换模式； 所述至少一个伴随肢体状态的转换关系， 包括多帧图像对应的伴随肢体状态为一个的 持续模式， 及多帧图像对应的伴 随肢体状态为多个时， 按照预定的顺序进行切换 的状态转 换模式。 10.根据权利要求1所述的方法， 其特征在于， 采用如下方式确定不同自定义动作对应 的基础动作组合： 确定自定义动作对应的至少一个基础动作， 并将所述至少一个基础动作按照时序进行 组合， 得到所述自定义动作对应的基础动作组合。 11.一种人体动作识别装置， 其特 征在于， 所述装置包括： 解析模块， 用于接收包括人体的多帧图像， 根据 预先定义的组成动作的动作基础要素， 解析各帧图像中的动作基础要素； 确定肢体状态模块， 用于根据解析得到的动作基础要素， 确定人体各部件间的关联关 系以及人体各部件与其 他目标之间的关联关系， 得到每帧图像中人体对应的肢体 状态； 确定基础动作模块， 用于根据预先定义的不同基础动作对应的肢体状态间的转换关 系， 确定所述多帧图像按照采样时间对应的肢体 状态间的转换关系所匹配的基础动作； 确定动作模块， 用于根据不同自定义动作对应的基础动作组合， 得到所述所匹配的基 础动作对应的自定义动作。 12.一种人体动作识别设备， 其特征在于， 所述设备包括： 至少一个处理器； 以及与 所述 至少一个处理器通信连接的存储器； 其中， 所述存储器存储有可被所述至少一个处理器执 行的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行如权 利要求1‑10中任何一项所述的方法。 13.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机程序， 所述 计算机程序用于使计算机执 行如权利要求1 ‑10任何一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115019343 A 3