(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210842370.4 (22)申请日 2022.07.18 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 冯子亮　司马铭骏 　潘悦　许重阳　 蓝田野　唐玄霜　董佳乐　黎光耀　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) (54)发明名称 一种基于关键帧构建双向运动历史图的人 体行为识别方法 (57)摘要 本发明提供了一种基于关键帧构建双向运 动历史图的人体行为识别方法， 使用关键帧构建 双向时空运动历史图， 双向时空运动历史图是一 种考虑了视频中人体运动在时间和空间上两个 维度的时空叠加特征， 可实现了对视频中时空特 征的深度表达； 将双向运动历史图特征送入机器 学习或深度学习模型进行训练， 可完成人体行为 的高效和准确识别， 具有实现容易、 计算速度快、 识别准确等优点。 权利要求书1页 说明书4页 附图1页 CN 114998998 A 2022.09.02 CN 114998998 A 1.一种基于关键帧构建双向运动历史图的人体行为识别方法， 其特征在于， 包括以下 步骤： 步骤1， 使用关键帧提取算法， 对 包含人体行为的视频进行关键帧提取， 得到关键帧； 步骤2， 使用实例分割算法， 对视频中每帧图象进行 人体轮廓提取， 得到人体 轮廓图； 步骤3， 计算每 个关键帧的前进运动历史图和回退运动历史图； 步骤4， 将关键帧的前进运动历史图和回退运动历史图， 进行通道拼接， 得到该关键帧 的双向运动历史图； 步骤5， 视频的所有关键帧的双 向运动历史图， 构成多通道的视频时空叠加特征； 将其 传入机器学习或深度学习模型中， 得到人体行为识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 步骤1包括： 可选地， 采用随机取帧来 替代关键帧提取。 3.根据权利要求1所述的方法， 其特 征在于， 步骤3包括： 以当前关键帧为中心， 对前一关键帧到后一关键帧之间的所有图象帧， 计算衰退比例 系数； 将当前关键帧的人体轮廓图， 与当前关键帧到后一关键帧之间的所有图象帧的人体轮 廓图， 以衰退比例系数为权 重， 计算带权图象叠加， 得到前进运动历史图； 将当前关键帧的人体轮廓图， 与 前一关键帧到当前关键帧之间的所有图象帧的人体轮 廓图， 以衰退比例系数为权 重， 计算带权图象叠加， 得到回退运动历史图。 4.根据权利要求3所述的方法， 其特 征在于， 包括： 衰退比例系数为自适应模式， 按照关键帧之间的帧数， 以等比例方式衰退； 可选地， 衰退比例系数为固定比例模式， 即按事先得到的固定的衰退比例经验值进行 衰退。 5.根据权利要求1所述的方法， 其特 征在于， 步骤5包括： 将一个视频所有关键帧的双 向运动历史图叠加， 形成一个双多通道图像， 传入机器学 习或者深度学习模型进行处 理， 得到人体行为识别结果。 6.根据权利要求1所述的方法， 其特 征在于， 步骤5还 包括： 可选地， 选取部分 关键帧的双向运动历史图。权　利　要　求　书 1/1 页 2 CN 114998998 A 2一种基于关键帧构建双向运动历史图的 人体行为识别方 法 技术领域 [0001]本发明属于计算机视觉领域， 尤其涉及一种基于关键帧构建双向运动历史图的人 体行为识别方法。 背景技术 [0002]人体行为识别通常是指用行为标签来标记视频图像序列的过程， 是计算机视觉领 域中一个重要的研究和应用方向， 广泛应用于场景监控、 体育竞赛等场景的视频分析， 具有 广阔的应用前 景和使用价 值。 [0003]在人体行为识别中， 根据参与行动者身体部位的不 同， 可将人体行为分为四个类 别： 姿态行为、 个体行为、 交互行为和团体行为； 其中， 姿态行为指基于手、 脸或其他部位的 动作行为； 个体行为指由单人进 行的运动组成的动作行为， 例如步行或跑步； 交互行为是指 两个参与者执行 的动作行为， 它 可能包括与对 象的交互或与单个人 的交互； 团体行为指交 互对象的数量是至少两个或更多的动作行为。 [0004]人体行为识别方法近年来发展迅速， 但存在使用特征单一等问题； 考虑到视频本 身就是时间和空间的复合体， 如何尽可能发掘和利用视频 的时间和空间特征， 来实现人体 行为的准确识别， 是 人体行为识别在应用中面临的一个难题。 [0005]为了解决此类问题， 本发明提出一种混合了空间特征和时间特征的人体行为识别 方法， 先使用关键帧构建双向时空运动 历史图， 在提取关键帧后， 将 视频图象中的人体轮廓 等空间特性， 以及关键帧前后的视频图象等时间特性， 进行时空特征叠加， 实现了对视频中 时空特征 的深度表达； 将双向运动历史图输入神经网络训练模型， 就可以完成人体行为的 高效和准确识别。 发明内容 [0006]一种基于关键帧构建双向运动历史图的人体行为识别方法， 包括以下步骤。 [0007]步骤1， 使用关键帧提取算法， 对 包含人体行为的视频进行关键帧提取。 [0008]步骤2， 使用实例分割算法， 对视频中每帧图象进行人体轮廓提取， 得到人体轮廓 图。 [0009]人体轮廓图是一个二 值图象， 表征图象中的人体外形轮廓。 [0010]步骤3， 计算每 个关键帧的前进运动历史图和回退运动历史图， 包括： 以当前关键帧为中心， 对前一关键帧到后一关键帧之间的所有图象帧， 计算衰退 比例系数； 将当前关键帧的人体轮廓图， 与当前关键帧到后一关键帧之间的所有图象帧的人 体轮廓图， 以衰退比例系数为权 重， 计算带权图象叠加， 得到前进运动历史图； 因为衰退系数从当前帧往下一帧方向进行衰退， 因此构成前进运动历史图中的每 一帧， 亮度随着时间或者帧序号的增 加而不断衰退； 将当前关键帧的人体轮廓图， 与前一关键帧到当前关键帧之间的所有图象帧的人说　明　书 1/4 页 3 CN 114998998 A 3