(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081596 6.5 (22)申请日 2022.07.12 (71)申请人 北京京东尚科信息技 术有限公司 地址 100086 北京市海淀区知春路76号8层 (72)发明人 刘鑫辰　刘武　梅涛　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 用于步态识别的模型训练方法、 步态识别方 法及装置 (57)摘要 本申请提出一种用于步态识别的模型训练 方法、 步态识别方法及装置， 涉及深度学习、 计算 机视觉等人工智能技术领域， 用于步态识别的模 型训练方法包括： 获取多个对象分别对应的训练 样本； 将每个训练样本中的各步态样本序列中多 帧步态样本图像的二维步态轮廓信息和三维步 态模型信息输入步态特征提取模 型， 以获取对应 步态样本序列的预测三维步态特征； 根据多个对 象分别对应的训练样本中， 属于同一对象的步态 样本序列生成正样本序列对、 属于不同对象 的步 态样本序列生成负样本序列对； 根据正样本序列 对与负样本序列对中的各步态样本序列的预测 三维步态特征， 确定第一损失值； 根据第一损失 值调整步态特征提取模型的模型参数。 提高了步 态识别的识别准确性。 权利要求书4页 说明书22页 附图6页 CN 115205971 A 2022.10.18 CN 115205971 A 1.一种用于步态 识别的模型训练方法， 其特 征在于， 包括： 获取多个对象分别对应的训练样本， 其中， 每个所述训练样本包括多个步态样本序列， 以及包括对应步态样本序列中多帧步态样本图像的二维步态轮廓信息和 三维步态模型信 息； 将各所述步态样本序列中多帧步态样本图像的二维步态轮廓信息和三维步态模型信 息输入步态特 征提取模型， 以获取对应步态样本序列的预测三维步态特 征； 根据所述多个对象分别对应的训练样本 中， 属于同一对象的所述步态样本序列生成正 样本序列对、 属于不同对象的所述 步态样本序列生成负 样本序列对； 根据所述正样本序列对与所述负样本序列对中的各所述步态样本序列的预测三维步 态特征， 确定第一损失值； 根据所述第一损失值调整所述 步态特征提取模型的模型参数。 2.根据权利要求1所述的方法， 其特征在于， 所述步态特征提取模型包括轮廓特征提取 模块、 空间转换模块， 与所述轮廓特征提取模块及所述空间转换模块分别连接的特征对齐 模块、 与所述特 征对齐模块连接的池化模块； 所述将各所述步态样本序列中多帧步态样本图像的二维步态轮廓信息和三维步态模 型信息输入步态特 征提取模型， 以获取对应步态样本序列的预测三维步态特 征， 包括： 对于每个所述步态样本序列， 将其中各所述步态样本图像的二维步态轮廓信 息输入所 述轮廓特征提取模块， 以基于各所述二维步态轮廓信息进行轮廓特征提取， 得到各所述步 态样本图像分别对应的二维轮廓特 征； 将其中各所述步态样本图像的三维步态模型信 息输入所述空间转换模块， 以基于各所 述三维步态模型信息进行隐变换估计， 得到各 所述步态样本图像分别对应的隐变换矩阵； 将各所述步态样本图像分别对应的所述二维轮廓特征与所述隐变换矩阵输入所述特 征对齐模块， 以利用所述隐变换矩阵将对应的所述二维轮廓特征对齐至三维空间， 得到对 应的步态样本图像的对齐后步态特 征； 将各所述步态样本图像的对齐后 步态特征输入所述池化模块， 以对各所述对齐后步态 特征进行池化， 得到所述 步态样本序列的预测三维步态特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一损失值调整所述步态特 征提取模型的模型参数， 包括： 将各所述训练样本包括的多个步态样本序列中， 各所述步态样本图像分别对应的隐变 换矩阵， 代入正则化损失函数， 以确定第二损失值； 根据所述第一损失值与所述第二损失值， 确定目标损失值； 根据所述目标损失值调整所述步态特征提取模型的模型参数， 以使所述目标损失值最 小化。 4.根据权利要求3所述的方法， 其特征在于， 各所述步态样本序列以所属的真实对象进 行标注； 所述 根据所述第一损失值与所述第二损失值， 确定目标损失值， 包括： 将各所述步态样本序列的预测三维步态特征输入分类模型， 以利用所述分类模型预测 各所述步态样本序列 的所属对象， 得到各所述步态样本序列分别属于各所述对象的置信 度； 根据各所述步态样本序列分别属于各所述对象的置信度与所属的真实对象， 确定第 三权　利　要　求　书 1/4 页 2 CN 115205971 A 2损失值； 根据所述第一损失值、 所述第二损失值与所述第三损失值确定所述目标损失值。 5.一种步态 识别方法， 其特 征在于， 包括： 获取至少一个步态查询序列以及多个步态匹配序列； 所述步态查询序列包括多帧步态 查询图像； 所述 步态匹配序列包括多帧步态匹配图像； 获取每个所述步态查询序列中多帧所述步态查询图像的第一二维步态轮廓信息以及 第一三维步态模型信息； 获取每个所述步态匹配序列中多帧所述步态匹配图像的第二二维步态轮廓信息以及 第二三维步态模型信息； 将各所述步态查询序列中多帧步态查询图像的第一二维步态轮廓信息和第一三维步 态模型信息输入步态特征提取模型， 以获取对应步态查询序列的第一三维步态特征； 并将 各所述步态匹配序列中多帧步态匹配图像的第二二维步态轮廓信息和第二三维步态模型 信息输入所述步态特征提取模型， 以获取对应步态匹配序列的第二三维步态特征； 所述步 态特征提取模型通过权利要求1 ‑4任一项所述的方法训练得到； 基于各所述第 一三维步态特征以及各所述第 二三维步态特征， 从各所述步态匹配序列 中获取与每 个所述步态查询序列匹配的目标序列。 6.根据权利要求5所述的方法， 其特征在于， 所述基于各所述第 一三维步态特征以及各 所述第二三 维步态特征， 从各所述步态匹配序列中获取与每个所述步态查询序列匹配的目 标序列， 包括： 基于每个所述步态查询序列对应的所述第一三维步态特征以及各所述步态匹配序列 对应的所述第二三维步态特征， 确定每个所述步态查询序列与各所述步态匹配序列之 间的 相似度； 对于每个所述步态查询序列， 将各所述步态匹配序列按照与 所述步态查询序列之间的 相似度从高到低的顺序排序， 并将排序在前 的预设数量的步态匹配序列， 确定为与所述步 态查询序列匹配的所述目标序列。 7.一种用于步态 识别的模型训练装置， 其特 征在于， 包括： 第一获取模块， 用于获取多个对象分别对应的训练样本， 其中， 每个所述训练样本包括 多个步态样本序列， 以及包括对应步态样本序列中多帧步态样本图像的二维步态轮廓信息 和三维步态模型信息； 第一处理模块， 用于将各所述步态样本序列中多帧步态样本图像的二维步态轮廓信 息 和三维步态模型信息输入步态特征提取模型， 以获取对应步态样本序列的预测三 维步态特 征； 生成模块， 用于根据所述多个对象分别对应的训练样本中， 属于同一对象的所述步态 样本序列生成正样本序列对、 属于不同对象的所述 步态样本序列生成负 样本序列对； 确定模块， 用于根据 所述正样本序列对与 所述负样本序列对中的各所述步态样本序列 的预测三维步态特 征， 确定第一损失值； 调整模块， 用于根据所述第一损失值调整所述 步态特征提取模型的模型参数。 8.根据权利要求7所述的装置， 其特征在于， 所述步态特征提取模型包括轮廓特征提取 模块、 空间转换模块， 与所述轮廓特征提取模块及所述空间转换模块分别连接的特征对齐权　利　要　求　书 2/4 页 3 CN 115205971 A 3