(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398445.4 (22)申请日 2022.04.15 (71)申请人 成都数字天空科技有限公司 地址 610041 四川省成 都市高新区中国 （四 川） 自由贸易试验区成都天华二路219 号7栋6层 (72)发明人 黄洋杰　韩英　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 唐正瑜 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01)G06V 10/44(2022.01) (54)发明名称 骨架模型预测方法、 装置、 电子设备及可读 存储介质 (57)摘要 本申请提供一种骨架模型预测方法、 装置、 电子设备及可读存储介质， 涉及计算机技术领 域。 该方法通过获取人体在当前姿态下的反光 点， 然后将反光点输入预先训练好的第一神经网 络模型中， 通过该第一神经网络模 型来预测人体 在当前姿态下对应的骨架模型， 从而可通过神经 网络模型来自动预测人体在不同姿态下的骨架 模型， 效率更高、 精度更高。 权利要求书2页 说明书9页 附图6页 CN 114581957 A 2022.06.03 CN 114581957 A 1.一种骨架模型 预测方法， 其特 征在于， 所述方法包括： 获取人体在当前姿态下的反光 点； 将所述反光点输入预先训练好的第 一神经网络模型中， 通过所述第 一神经网络模型预 测所述人体在当前姿态下对应的骨架模型。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一神经网络模型包括生成网络和第 一解码器， 所述将所述反光点输入预先训练好的第一神经网络模型中， 通过所述第一神经 网络模型 预测所述人体在当前姿态下对应的骨架模型， 包括： 通过所述生成网络对所述反光点进行特征提取， 生成表征反光点的第 一编码向量以及 表征骨架信息的第二编码向量； 通过所述第 一解码器对所述第 一编码向量和所述第 二编码向量进行解码预测， 获得所 述人体在当前姿态下对应的骨架模型。 3.根据权利要求1所述的方法， 其特征在于， 所述第一神经网络模型包括生成网络、 第 一解码器和第二解码器， 所述将所述反光点输入预先训练好的第一神经网络模型中， 通过 所述第一神经网络模型 预测所述人体在当前姿态下对应的骨架模型， 包括： 通过所述生成网络对所述反光点进行特征提取， 生成表征反光点的第 一编码向量以及 表征骨架信息的第二编码向量； 通过所述第一 解码器对所述第二编码向量进行解码预测， 获得骨架信息； 通过所述第二解码器对所述第一编码向量进行解码预测， 获得标准数量的反光点信 息； 根据所述反光 点信息以及所述骨架信息生成所述人体在当前姿态下的骨架模型。 4.根据权利要求3所述的方法， 其特征在于， 所述第 一解码器和所述第 二解码器为对第 二神经网络模型进行训练后获得的。 5.根据权利要求4所述的方法， 其特征在于， 所述第二神经网络模型包括第一编码器、 第二编码器以及所述第一解码器， 所述第一编码器、 所述第二编码器均与所述第一解码器 连接； 通过以下 方式对所述第二神经网络模型进行训练： 通过所述第一编码器对训练反光 点进行编码， 获得第一编码向量； 通过所述第 二编码器对训练骨架模型以及所述第 一编码向量进行编码， 获得所述第 二 编码向量； 通过所述第 一解码器对所述第 一编码向量以及所述第 二编码向量进行解码预测， 获得 对应的骨架模型； 重复上述 步骤， 以对所述第二神经网络模型进行训练。 6.根据权利要求5所述的方法， 其特征在于， 所述第一编码器包括依次连接的全连接 层、 relu层以及残差网络层； 和/或， 所述第二编码器包括依次连接的卷积层、 池化层以及relu层； 和/或， 所述第一 解码器包括依次连接的反卷积层、 自注意力模块层以及卷积层。 7.根据权利要求5所述的方法， 其特征在于， 所述第二神经网络模型还包括第二解码 器， 所述第二 解码器与所述第一编码器连接； 对所述第二神经网络模型进行训练， 还 包括： 通过所述第二解码器对所述第一编码向量进行解码预测， 获得标准数量的反光点信 息。权　利　要　求　书 1/2 页 2 CN 114581957 A 28.根据权利要求1所述的方法， 其特征在于， 所述通过所述第 一神经网络模型预测所述 人体在当前姿态下对应的骨架模型之后， 还 包括： 将所述骨架模型的坐标系转换到三维场景 下， 获得所述三维场景 下的人体骨架模型。 9.一种骨架模型 预测装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于获取 人体在当前姿态下的反光 点； 预测模块， 用于将所述反光点输入预先训练好的第一神经网络模型中， 通过所述第一 神经网络模型 预测所述人体在当前姿态下对应的骨架模型。 10.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机可 读取指令， 当所述计算机可读取指 令由所述处理器执行时， 运行如权利要求 1‑8任一所述的 方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时运行如权利要求1 ‑8任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114581957 A 3