(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210551600.1 (22)申请日 2022.05.18 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 吴俊毅　高志鹏　郭小强　姚灿荣　 黄仁裕　赵建强　杜新胜　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种鲁棒的时空混合步态特征学习方法和 系统 (57)摘要 本发明给出了一种鲁棒的时空混合步态特 征学习方法和系统， 包括对于输入的一组步态帧 序列， 将每一帧的人体分割为易受着装变化影 响 的部分和不易受着装变化影 响的部分， 不易受着 装变化影 响的部分包括头部和小腿部分； 对不易 受着装变化影 响的部分， 通过三个不同子网络分 别提取步态特征， 将提取到的三个步态特征级 联， 作为最终进行步态识别的步态特征， 三个不 同子网络包括局部空间特征提取网络、 全局空间 特征提取网络和连续短时间间隔内的步态动态 特征提取网络。 每个子网络都刻画了步态特征的 不同方面， 串联混合可以合 成一个更为鲁棒的步 态特征， 该方法和系统在处理行人着装变化这一 步态识别问题时具有显著的增益效果。 权利要求书2页 说明书7页 附图3页 CN 114882593 A 2022.08.09 CN 114882593 A 1.一种鲁棒的时空混合 步态特征学习方法， 其特 征在于， 包括： S1： 对于输入的一组步态帧序列， 将每一帧的人体分割为易受着装变化影响的部分和 不易受着装变化影响的部分； S2： 对所述不易受着装变化影响的部分， 通过三个不同子网络分别提取步态特征， 将提 取到的三个所述 步态特征级联， 作为 最终进行步态 识别的步态特 征。 2.根据权利要求1所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 所述不易受 着装变化影响的部分包括头 部和小腿部分。 3.根据权利要求2所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 所述三个不 同子网络包括局部空间特征提取网络、 全局空间特征提取网络和连续短时间间隔内的步态 动态特征提取网络 。 4.根据权利要求3所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 所述局部空 间特征提取网络中卷积模块并行放置， 形成三个卷积支路和三个并行 的子网络， 信息通过 上采样和下采样的方式在任意两个子网络之间交换， 通过池化操作将提取到的每帧特征映 射成为整个序列的特 征。 5.根据权利要求3所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 所述全局空 间特征提取网络包括两个分别用于处理所述头部和所述小腿部 分的分支网络， 每个所述分 支网络包括三个卷积模块， 每个所述卷积模块包括两个卷积层和 一个池化层， 在所有的卷 积模块之后， 通过池化操作将提取到的每 帧特征映射成为整个序列的特征， 将所述头部和 所述小腿部分的特 征进行级联， 作为全局空间特 征。 6.根据权利要求3所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 所述连续短 时间间隔内的步态动态特征提取网络中从分割后的所述小腿部分提取所需的连续短时间 间隔内的步态特征， 所述连续短时间间隔内的步态动态特征是通过在短时间间隔的帧上通 过两种窗口尺寸的滑动窗口模型来抽取。 7.根据权利要求4 ‑6中任一项所述的鲁棒的时空混合步态特征学习方法， 其特征在于， 经过水平金字塔匹配， 将映射后的序列特 征投影至一个更 具有判别性的特 征空间中。 8.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多 个计算机程序被 计算机处 理器执行时实施权利要求1至7中任一项所述的方法。 9.一种鲁棒的时空混合 步态特征学习系统， 其特 征在于， 所述系统包括： 步态帧序列分割单元： 配置用于对于输入的一组步态帧序列， 将每一帧的人体分割为 易受着装变化影响的部 分和不易受着装变化影响的部分， 所述不易受着装变化影响的部分 包括头部和小腿部分； 步态特征提取单元： 配置用于对所述不易受着装变化影响的部分， 通过三个不同子网 络分别提取步态特征， 将提取到的三个所述步态特征级联， 作为最终进行步态识别的步态 特征， 所述三个不同子网络包括局部空间特征提取网络、 全局空间特征提取网络和连续短 时间间隔内的步态动态特 征提取网络 。 10.根据权利要求9所述的鲁棒的时空混合步态特征学习系统， 其特征在于， 所述局部 空间特征提取网络中卷积模块并行放置， 形成三个卷积支路和三个并行 的子网络， 信息通 过上采样和下采样的方式在 任意两个子网络之 间交换， 通过池化操作将提取到的每帧特征 映射成为整个序列的特 征。权　利　要　求　书 1/2 页 2 CN 114882593 A 211.根据权利要求9所述的鲁棒的时空混合步态特征学习系统， 其特征在于， 所述全局 空间特征提取网络包括两个分别用于处理所述头部和所述小腿部分的分支网络， 每个所述 分支网络包括三个卷积模块， 每个所述卷积模块包括两个卷积层和一个池化层， 在所有的 卷积模块之后， 通过池化操作将提取到的每 帧特征映射成为整个序列的特征， 将所述头部 和所述小腿部分的特 征进行级联， 作为全局空间特 征。 12.根据权利要求9所述的鲁棒的时空混合步态特征学习系统， 其特征在于， 所述连续 短时间间隔内的步态动态特征提取网络中从分割后的所述小腿部分提取所需的连续短时 间间隔内的步态特征， 所述连续短时间间隔内的步态动态特征是通过在短时间间隔的帧上 通过两种窗口尺寸的滑动窗口模型来抽取。 13.根据权利要求10 ‑12中任一项所述的鲁棒的时空混合步态特征学习系统， 其特征在 于， 经过水平金字塔匹配， 将映射后的序列特 征投影至一个更 具有判别性的特 征空间中。权　利　要　求　书 2/2 页 3 CN 114882593 A 3