(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561470.X (22)申请日 2022.05.23 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 贲晛烨　姚军　李玉军　黄天欢　 刘畅　许文正　赵淇涛　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 专利代理师 杨树云 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分阶段多级金字塔的跨视角 步态 识别方法 (57)摘要 本发明涉及一种基于分阶段多级金字塔的 跨视角步态识别方法， 包括： 骨架网络构建： 完成 初级特征及高级特征提取； 分阶段多级金字塔构 建： 进行分块操作， 实现不同级别特征的提取； 时 序特征提取模块构建： 首先经过特征平滑卷积层 进行特征的进一步提取以及输出通道的调整， 然 后使用全局平均池化进行时序特征编码， 输入到 循环神经网络中进行多帧信息的融合； 整体框架 训练； 跨视角步态识别。 本发明模型具有更大的 灵活性和有效性。 本发明能够 有效利用步态剪影 图序列中所包含的帧级特征和序列级特征， 在特 征提取方面更加有效。 采用组合损失对模型进行 优化， 有效地加快网络收敛速度， 提升识别效果。 权利要求书4页 说明书13页 附图3页 CN 115050093 A 2022.09.13 CN 115050093 A 1.一种基于分阶段多 级金字塔的跨视角步态 识别方法， 其特 征在于， 包括： A、 骨架网络构建 骨架网络包括若干卷积层和池化层， 输入剪影图序列在骨架网络中完成初级特征、 中 级特征及高级特 征提取， 随后进入分阶段多 级金字塔进行空间特 征映射； B、 分阶段多 级金字塔构建 通过水平金字塔对步骤A得到的特征图进行分块操作， 按分块的尺寸大小分为不同的 类型， 将各个 类型均匀散布于特 征提取的各个阶段， 实现不同级别特 征的提取； C、 时序特 征提取模块构建 时序特征提取模块包括骨架网络、 特征平滑卷积层以及循环神经网络； 经过骨架网络 输出的特征图首先经过特征平滑卷积层进 行特征的进一步提取以及输出通道的调整， 然后 使用全局平均池化对序列中的单帧图像进 行时序特征编 码， 输入到循环神经网络中进 行多 帧信息的融合； D、 整体框架训练 将分阶段多级金字塔的输出经过全连接层映射后， 与时序 特征提取模块的输出进行拼 接作为最 终特征， 利用三元组损失和交叉熵损失组合训练整个基于 分阶段多级金字塔的步 态识别网络， 以得到具有高判别性的特 征提取模型； 特征提取模型的网络架构为基于分阶段多级金字塔的步态识别网络， 包括骨架网络、 分阶段多 级金字塔及时序特 征提取模块； E、 跨视角步态 识别 将待识别身份的步态剪影图序列送入训练好的基于分阶段多级金字塔的步态识别网 络中提取步态特 征， 通过与注 册数据集进行 特征相似性比对完成查询样本的身份识别。 2.根据权利要求1所述的一种基于分阶段多级金字塔的跨视角步态识别方法， 其特征 在于， 骨架网络依次包括卷积层Conv ‑1、 卷积层Conv ‑2、 卷积层Conv ‑3、 池化层Maxpool ‑1、 卷积层Co nv‑4、 卷积层Co nv‑5、 池化层Maxpo ol‑2、 卷积层Co nv‑6； 池化层Maxpool ‑1和池化层Maxpool ‑2将卷积层分为第一卷积块、 第二卷积块、 第三卷 积块， 分别依次对应分阶段多 级金字塔中的第一阶段、 第二阶段和第三阶段。 3.根据权利要求2所述的一种基于分阶段多级金字塔的跨视角步态识别方法， 其特征 在于， 步骤A中， 输入剪影图序列在骨架网络中完成初级 特征、 中级 特征以及高级 特征提取， 包括： a、 分块： 将输入的剪影图序列从上到下分为三块， 采用类似滑窗的设计， 每次划取原图 像一半高度的图像； 具体是指： 首先， 将原图像从上到下均分为四块， 包括分块一、 分块二、 分块三、 分块四； 然后， 取第一分块为分块一和分块二的组合， 第二分块为分块二和分块三 的组合， 第三分块 为分块三和分块四的组合； b、 初级特 征及高级特 征提取： 第一阶段获取的特征更接近像素特征或者局部特征， 为初级特征； 第二阶段获取的特 征为中级特 征； 第三阶段获取到的特 征更代表全局的结构特 征， 为高级特 征。 4.根据权利要求3所述的一种基于分阶段多级金字塔的跨视角步态识别方法， 其特征 在于， 步骤B中， 通过构建的分阶段多级金字塔将各个类型均匀散布于特征提取的各个阶 段， 实现不同级别特 征的提取； 包括：权　利　要　求　书 1/4 页 2 CN 115050093 A 2骨架网络中输出的初级特征、 中级特征及高级特征依次通过第一阶段、 第二阶段及第 三阶段通过分阶段多 级金字塔依次独立处 理， 具体如下： c、 第一阶段时， 第一卷积块的输出为 s为序列长度， c1为第一阶段输出通 道数， h1和w1分别为特 征图的高和宽， “×”表示数值乘法； 在dim＝0， 即s所在的维度上进行最大值池化， 即得到一个最大能量帧 如式 (I)所示： x1＝maxpooling(v)dim＝0    (I) 式(I)中， maxpo oling(·)表示最大值池化操作； 第二阶段时， 第二卷积块的输出为 第二阶段获取到的最大能量帧 的维度 为 h2和w2分别为h1和w1的一半； c2为第二阶段输出通道数； 第三阶段时， 第三卷积块的输出为 第三阶段获取到的最大能量帧其维度 为 h3和w3分别为h1和w1的一半； c3为第三阶段输出通道数； d、 分别对x1、 x2、 x3进行变形操作， 将其在水平方向上平均分割为m个条带， 得到新的特 征图 如式(II)所示： xreshape＝Reshape(v)     (II) 式(II)中， Reshape( ·)为变形操作， 其有可调节参数m， 在第一阶段中分别为1和2； 对xreshape在最后一个维度dim＝2上进行最大值池化maxpooling( ·)和均值池化 avgpooling(·)并加和， 即得到分阶段多 级金字塔的一部分特 征， 如式(I II)所示： f[1,1]＝maxpooling(xreshape)dim＝2+avgpooling(xreshape)dim＝2    (III) 式(III)中， 表示第一阶段中m＝1分块所 得到的一部分特 征； 经过分阶段多级金字塔， 最终分别从三个阶段得到f[1,1]、 f[1,2]、 f[2,2]、 f[2,4]、 f[3,4]和 f[3,8]共计6个部分特征， 其中， f[1,1]表示第一阶段、 分块数量为1时映射得到的特征； f[1,2]表 示第一阶段、 分块 数量为2时映射 得到的特征； f[2,2]表示第二阶段、 分块 数量为2时映射得到 的特征； f[2,4]表示第二阶段、 分块数量为4时映射得到的特征； f[3,4]表示第三 阶段、 分块数 量为4时映射得到的特 征； f[3,8]表示第三阶段、 分块数量 为8时映射得到的特 征； e、 将f[1,1]、 f[1,2]、 f[2,2]、 f[2,4]、 f[3,4]和f[3,8]在最后一个 维度， 即dim＝1进行拼接后输入 到全连接层， 即得到空间特 征提取部分最终的特 征 如式(IV)所示： fspatial＝Linear(cat(f[1,1],f[1,2],f[2,2],f[2,4],f[3,4],f[3,8])dim＝1)    (IV) 式(IV)中， cat( ·)表示拼接操作。 5.根据权利要求1所述的一种基于分阶段多级金字塔的跨视角步态识别方法， 其特征 在于， 特征平滑卷积层包括两层输出通道分别为256和512、 卷积核大小为3 ×3的卷积层； 取 骨架网络第三 阶段输出 的特征图， 将其经过特征平滑卷积层进一步提取特征， 编码输入循 环神经网络； 骨架网络和特征平滑卷积层用于帧级别特征 的预处理， 经过预处理的特征输 入循环神经网络提取时序特 征。 6.根据权利要求5所述的一种基于分阶段多级金字塔的跨视角步态识别方法， 其特征 在于， 步骤C中， 时序特 征提取， 包括：权　利　要　求　书 2/4 页 3 CN 115050093 A 3