(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742382.X (22)申请日 2022.06.28 (71)申请人 奥比中光科技 集团股份有限公司 地址 518000 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 潘哲　钱贝贝　廖振生　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种人体姿态估计方法、 装置、 终端及存储 介质 (57)摘要 本发明公开了一种人体姿态估计方法、 装 置、 终端及存储介质， 本发明提供的人体姿态估 计方法包括： 获取相同目标场景的RGBD图像数据 和无线通信信号数据； 其中， 无线通信信号数据 包括蓝牙信号数据和/或无线网络信道状态信息 数据； 根据RGBD图像数据和无线通信信号数据， 分别估计所述目标场景中目标用户的第一姿态 和第二姿态； 融合第一姿态和第二姿态， 得到所 述目标用户的目标人体姿态。 本发 明可以提升在 有遮挡情况 下的人体姿态估计的准确性。 权利要求书2页 说明书6页 附图4页 CN 115082962 A 2022.09.20 CN 115082962 A 1.一种人体姿态估计方法， 其特 征在于， 所述方法包括： 获取相同目标场景的RGBD图像数据和无线通信信号数据； 其中， 所述无线通信信号数 据包括蓝牙信号数据和/或无线网络信道状态信息数据； 根据所述RGBD图像数据和所述无线通信信号数据， 分别估计所述目标场景中目标用户 的第一姿态和第二姿态； 融合所述第一姿态和所述第二姿态， 得到所述目标用户的目标 人体姿态。 2.根据权利要求1所述的人体姿态估计方法， 其特征在于， 当所述无线通信信号数据为 蓝牙信号数据时， 获取 所述目标场景中的所述无线通信数据， 包括： 获取所述第一蓝牙设备上的多个接收天线分别接收到的由所述第二蓝牙设备的一个 发送天线发送的所述第一信号； 根据所述多个接收天线阵列接收的各第一信号计算相位差， 得到所述蓝牙信号数据。 3.根据权利要求1所述的人体姿态估计方法， 其特征在于， 当所述无线通信信号数据为 蓝牙信号数据时， 获取 所述目标场景中的所述无线通信数据， 包括： 获取所述第一蓝牙设备上的一个接收天线接收到的由所述第二蓝牙设备上的多个发 送天线分别发送的所述第一信号； 根据所述 一个接收天线接收到的多个第一信号计算相位差， 得到所述蓝牙信号数据。 4.根据权利要求1所述的人体姿态估计方法， 其特征在于， 根据 所述RGBD图像数据估计 所述目标场景中目标用户的第一姿态， 包括： 将RGBD图像数据输入至第一神经网络， 获取目标用户的第一姿态； 其中， 所述第一神经 网络包括用于特征提取的基础 网络和分别连接所述基础 网络的二维分支网络和 三维分支 网络， 所述二 维分支网络用于利用RGB图像得到二 维姿态数据， 所述三 维分支网络用于利用 所述二维姿势数据和深度图像估计所述目标用户的第一姿态。 5.根据权利要求1所述的人体姿态估计方法， 其特征在于， 根据 所述无线通信信号数据 估计所述目标场景中目标用户的第二姿态， 包括： 将所述无线通信信号数据输入至第 二神经网络， 获取目标用户的第二姿态； 其中， 所述 无线通信信号数据包括垂直热图和水平热图的两种格式， 所述第二神经网络对各热图进 行 卷积编码并合并通道， 对合并通道后的热图进行解码以估计所述目标用户的第二姿态。 6.根据权利要求1所述的人体姿态估计方法， 其特征在于， 所述融合所述第 一姿态和所 述第二姿态， 得到所述目标用户的目标 人体姿态， 包括： 将所述第二姿态和所述第一姿态的时间戳进行对齐； 将相同时间戳的所述第 二姿态和所述第 一姿态进行融合， 得到当前时刻对应的所述目 标人体姿态。 7.根据权利要求6所述的人体姿态估计方法， 其特征在于， 所述将相同时刻的所述第 二 姿态和所述第一姿态进行融合， 包括： 分别获取所述第一姿态和所述第二姿态中各人体骨架点坐标及每个坐标相应的置信 度； 基于对应的置信度及所述相同时间戳对所述第二姿态和所述第一姿态进行融合。 8.一种人体姿态估计装置， 其特 征在于， 包括： 数据获取模块， 用于获取相同目标场景的RGBD图像数据和无线通信信号数据， 其中， 所权　利　要　求　书 1/2 页 2 CN 115082962 A 2述无线通信 信号数据包括蓝牙信号数据和/或无线网络信道状态信息数据； 姿态获取模块， 用于根据所述RGBD图像数据和所述无线通信信号数据， 分别估计所述 目标场景中目标用户的第一姿态和第二姿态； 融合模块， 用于融合所述第一姿态和所述第二姿态， 得到所述目标用户的目标人体姿 态。 9.一种终端， 其特征在于， 所述终端包括： 处理器、 与处理器通信连接的计算机可读存 储介质， 所述计算机可读存储介质适于存储多条指令， 所述处理器适于调用所述计算机可 读存储介质中的指令， 以执 行实现权利要求1 ‑7任一项所述的人体姿态估计方法的步骤。 10.根据权利要求9所述的终端， 其特征在于， 还包括采集设备和无线设备， 用于分别采 集相同目标场景 的RGBD图像数据和无线通信信号数据并传输至所述处理器以实现权利要 求1‑7任一项所述的人体姿态估计方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求 1‑7任 一项所述的人体姿态估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 115082962 A 3