(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210514662.5 (22)申请日 2022.05.12 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 李杨　丁文博　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G01S 7/41(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于毫米波雷达的三维人体姿态估计方法 (57)摘要 基于毫米波雷达的三维人体姿态估计方法， 涉及计算机视觉技术领域， 针对现有技术中姿态 估计精度低的问题， 本申请在现有的RF还原方法 的基础上进行了大幅改进， 通过采用图神经网络 来对人体的关节之间的空间关系和运动特点进 行编码， 使用基于能量的损失模 型将回归问题转 化为分类问题， 并且使用前一帧的输出姿态来辅 助当前帧的估计， 大幅提升了姿态估计精度和估 计速度。 权利要求书3页 说明书10页 附图3页 CN 114926860 A 2022.08.19 CN 114926860 A 1.基于毫米波雷达的三维人体姿态估计方法， 其特 征在于包括以下步骤： 步骤一： 利用毫米波雷达获取 人体姿态雷达 视频数据； 步骤二： 将雷达 视频数据进行拆分后逐帧进行处 理， 得到三维人体姿态估计结果； 所述步骤二的步骤具体为： 步骤二一： 获取雷达视频数据中首帧对应的雷达 图像中的人体姿态， 然后将雷达 图像 中的人体姿态转换为16个节点的人体骨骼模型， 并将每个节点由空间三维位置表示， 构建 48维的人体姿态空间； 步骤二二： 在48维的人体姿态空间随机进行采样， 得到表示人体姿态的向量， 然后将采 样得到的表示人体姿态的向量和首帧对应的雷达图像输入神经网络中， 得到回归分数； 步骤二三： 利用回归分数对采样得到的表示人体姿态的向量进行梯度下降， 梯度下降 后的结果即为首帧的人体姿态估计结果； 步骤二四： 在上一帧得到的人体姿态估计结果周围随机进行采样， 得到表示人体姿态 的向量集合， 然后 将集合中表示人体姿态的向量分别与当前帧对应的雷达图像输入神经网 络中， 得到所有表示人体姿态的向量对应的回归分数； 步骤二五： 在所有表示人体姿态的向量对应的回归分数中选取最高的回归分数， 并判 断最高的回归分数是否小于设定的阈值， 若不小于， 则将最高的回归分数对应的表示人体 姿态的向量作为当前帧的人体姿态估计结果， 若小于， 则将最高的回归分数对应的表示人 体姿态的向量进行梯度下降， 并将梯度下降后的结果作为当前帧的人体姿态估计结果； 步骤二六： 重复步骤二 四和步骤二五， 直至得到所有帧的人体姿态估计结果， 即为三维 人体姿态估计结果； 所述16个节点的人体骨骼模型包括： 头部、 颈部、 左肩、 右肩、 左肘关节、 右肘关节、 左 腕 关节、 右腕关节、 脊柱中点、 脊柱尾端、 左髋关节、 右髋关节、 左膝关节、 右膝关节、 左踝关节 以及右踝关节。 2.根据权利要求1所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 步骤一的具体步骤为： 首先， 使用毫米波雷达录取人体姿态， 然后将录取得到的雷达数据进行快速傅里叶变 换， 得到雷达中不同阵元 的雷达距离多普勒图像， 之后对得到的雷达距离多普勒图像通过 MUSIC算法进行处 理， 得到雷达距离角度图像； 重复上述 步骤， 然后将得到的所有雷达距离角度图像进行拼接， 得到雷达 视频数据。 3.根据权利要求2所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 神经网络包括卷积神经网络和图神经网络； 所述卷积神经网络对输入的雷达图像进行 特征提取； 所述图神经网络根据提取到的特 征以及输入的表示人体姿态的向量得到回归分数。 4.根据权利要求3所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 卷积神经网络采用残差网络 。 5.根据权利要求3所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 图神经网络中第l层节点的特 征表示为： 权　利　要　求　书 1/3 页 2 CN 114926860 A 2其中， 表示第l层节点i 的特征， φl表示第l层的聚合方程， 表示第l‑1层节点i的 特征， 表示第l‑1层节点j的特 征。 6.根据权利要求5所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 图神经网络采用注意力图神经网络 。 7.根据权利要求6所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 注意力图神经网络中第l层的聚合方程表示 为： 其中， 表示第l‑1层的注意力系数， Att表示计算注意力系数的函数， 表示第l‑1 层归一化后的注意力系数， 表示第l‑1层第i个节点的近邻系数， k表示i的近邻， 表 示i近邻的集 合， fl表示激活函数， 表示第l层第i个节点的输出。 8.根据权利要求7所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 神经网络的损失函数为： 其中fθ(x,y)表示样本与标签的联合概率值， xq表示第q个样本， yq＝y(q,0)表示第q个标 签， pN(y∣yq)表示第q个标签的噪声采样概率， y(q,m)表示根据噪声采样函数进行 的第m次采 样， M表示采样的总次数， n表示总样本数。 9.根据权利要求8所述的基于毫 米波雷达的三维人体姿态估计方法， 其特征在于所述pN (y∣ yq)表示为： 其中， K表示高斯概率模型的数量， 表示高斯概率模型， 表示第k个高斯模型的方 差， I表示单位矩阵。 10.根据权利要求1所述的基于毫米波雷达的三维人体姿态估计方法， 其特征在于所述 神经网络包括图像处 理部分和特 征回归部分； 所述图像处 理部分包 含七个模块； 其中， 第一模块包 含一个具有64个7 ×7卷积核的卷积层； 第二模块包含3个具有64个1 ×1卷积核的卷积层， 3个具有64个3 ×3卷积核的卷积层， 3 个具有512个1 ×1卷积核的卷积层； 第三模块包含3个具有128个1 ×1卷积核的卷积层， 3个具有128个3 ×3卷积核的卷积权　利　要　求　书 2/3 页 3 CN 114926860 A 3