(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210673877.1 (22)申请日 2022.06.14 (71)申请人 中国科学院重庆绿 色智能技 术研究 院 地址 400714 重庆市北碚区方正大道 266号 (72)发明人 张丽君　徐卉　周祥东　石宇　 罗代建　程俊　 (74)专利代理 机构 重庆渝之知识产权代理有限 公司 50249 专利代理师 郑小龙 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 40/10(2022.01) (54)发明名称 单视角三维人体骨骼关键点检测方法、 装 置、 设备及 介质 (57)摘要 本发明提出一种单视角 三维人体骨骼关键 点检测方法、 装置、 设备及介质， 包括： 获取单视 角人体图像序列， 单视角人体图像序列包括目标 图像和相关图像； 分别获取所述目标图像的第一 骨骼关键点和相关图像的第二骨骼关键点， 对第 一骨骼关键点进行空间特征提取得到空间语义 特征， 并对第一骨骼关键点和第二骨骼关键点进 行时序特征提取得到时序特征； 将监督特征与空 间语义特征、 时序特征进行融合， 得到三维人体 骨骼关键点特征信息。 本发明中， 提取空间语义 特征和时序特征， 获得骨骼关键点的平面信息与 深度信息； 将监督特征与空间语义特征、 时序特 征进行融合， 可有效减 轻单视角图像二维人体骨 骼关键点映射三维人体骨骼关键点的深度模糊 性和不适定性。 权利要求书2页 说明书11页 附图3页 CN 115482481 A 2022.12.16 CN 115482481 A 1.一种单视角三维人体骨骼关键点检测方法， 其特 征在于， 包括： 获取单视角人体图像序列， 所述单视角人体图像序列包括预设时间段内同一目标对象 在不同姿态下 的多帧图像， 其中一帧图像作为 目标图像， 其余图像作为所述 目标图像的相 关图像； 分别获取所述目标图像的第 一骨骼关键点和所述相关图像的第 二骨骼关键点， 对所述 第一骨骼关键点进行 空间特征提取得到空间语义特征， 并对所述第一骨骼关键点和第二骨 骼关键点进行时序特征提取得到时序特征， 所述空间语义特征包括全局语义特征和局部语 义特征； 将监督特征与所述空间语义特征、 时序特征进行融合， 得到三维人体骨骼关键点特征 信息， 所述监督特征通过特征提取网络提取所述 目标图像中的信息得到， 所述监督特征包 括所述目标图像的深层语义信息、 纹 理信息和边 缘信息。 2.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 对所述第 一骨骼关键点进行空间特 征提取得到空间语义特 征， 包括： 根据所述第一骨骼关键点构建全局空间图和全局邻接矩阵； 通过多头注意力 机制挖掘所述全局空间图的权重矩阵， 并利用空洞卷积网络得到所述 全局空间图中多个感受野的多维特 征； 利用图卷积网络更新所述全局邻接矩阵， 得到第一矩阵； 结合所述权 重矩阵、 多维特 征和第一矩阵构建多头注意力全局空间图； 对所述多头注意力全局空间图进行 特征表示， 得到所述全局语义特 征。 3.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 对所述第 一骨骼关键点进行空间特 征提取得到空间语义特 征， 包括： 根据所述第 一骨骼关键点的局部连接关系构建多个局部邻 接矩阵， 通过图卷积网络更 新所述多个局部邻接矩阵， 得到多个第二矩阵； 根据所述多个第二矩阵构建多个局部空间图， 对所述多个局部空间图进行特征表示得 到所述局部语义特 征。 4.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 对所述第 一骨骼关键点和第二骨骼关键点进行时序特 征提取得到时序特 征， 包括： 构建所述第 一骨骼关键点和第 二骨骼关键点的时序邻 接矩阵， 通过图卷积网络更新所 述时序邻接矩阵， 得到第三矩阵； 通过所述第三矩阵构建时序图， 对所述时序图进行 特征表示， 得到所述时序特 征。 5.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 将监督特 征与所述空间语义特 征、 时序特 征进行融合， 得到三维人体骨骼关键点特 征信息， 包括： 将所述全局语义特征和局部语义特征作为所述监督特征的注意力因子， 联结所述全局 语义特征和局部语义特征形成目标图像的第一空间结构特征， 利用空间特征调节器对所述 第一空间结构特 征进行调节， 得到第二空间结构特 征； 将所述时序特征与所述监督特征进行融合， 得到融合后的第一时序结构特征， 利用时 序特征调节器对所述第一时序结构特 征进行调节， 得到第二时序特 征； 将第二时序特征作为第 二空间结构特征的注意力因子， 得到三维人体骨骼关键点特征 信息。权　利　要　求　书 1/2 页 2 CN 115482481 A 26.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 获取单视 角人体图像序列之前， 包括 步骤： 构建初始网络模型， 获取 单视角人体图像训练样本； 将所述单视角人体图像训练样本输入所述初始网络模型中， 根据 预设的目标函数对所 述初始网络模型 的参数进行优化， 得到训练后的网络模型， 将所述单视角人体图像序列输 入所述训练后的网络模型。 7.根据权利要求1所述的单视角三维人体骨骼关键点检测方法， 其特征在于， 分别获取 所述目标图像的第一骨骼关键点和所述相关图像的第二骨骼关键点， 包括： 利用二维骨骼关键点检测器分别检测所述目标图像和所述相关图像中的目标对象， 得 到目标图像的第一骨骼关键点和相关图像的第二骨骼关键点。 8.一种单视角三维人体骨骼关键点检测装置， 其特 征在于， 包括： 图像获取模块， 用于获取单视角人体图像序列， 所述单视角人体图像序列包括预设时 间段内同一 目标对象在不同姿态下 的多帧图像， 其中一帧图像作为 目标图像， 其余图像作 为所述目标图像的相关图像； 特征获取模块， 用于分别获取所述目标图像的第 一骨骼关键点和所述相关图像的第 二 骨骼关键点， 对所述第一骨骼关键点进行空间特征提取得到空间语义特征， 并对所述第一 骨骼关键点和 第二骨骼关键点进 行时序特征提取得到时序特征， 所述空间语义特征包括全 局语义特 征和局部语义特 征； 特征融合模块， 用于将监督特征与所述空间语义特征、 时序 特征进行融合， 得到三维人 体骨骼关键点特征信息， 所述监督特征通过特征提取网络提取所述目标图像中的信息得 到， 所述监督特征包括所述目标图像的深层语义信息、 纹 理信息和边 缘信息。 9.一种计算机装备， 包括存储器、 处理器以及存储在所述存储器并可在所述处理器上 运行的计算机程序， 其特征在于： 所述处理器执行所述计算机程序时实现如权利要求 1‑7任 一项所述单视角三维人体骨骼关键点检测方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于： 所述计算机程序被处理器执行时实现如权利要求1 ‑7任一项所述单视角三维人体骨骼 关键点检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115482481 A 3