(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210314377.9 (22)申请日 2022.03.28 (71)申请人 西南交通大 学 地址 610031 四川省成 都市二环路北一段 申请人 四川八维九章科技有限公司 (72)发明人 苟先太　周晨晨　魏亚林　黄毅凯　 苟瀚文　姚一可　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 杨浩林 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 13/86(2006.01) G01S 13/88(2006.01) (54)发明名称 一种基于深度相机监督的毫米波雷达姿态 识别方法 (57)摘要 本发明公开了一种基于深度相机监督的毫 米波雷达姿态识别方法， 其采用深度相机和已训 练好的第一深度学习模型识别的结果作为毫米 波雷达数据的标签， 而后利用生成的带标签的数 据集对第二深度学习模型进行训练， 训练结束后 也能够从毫米波雷达实时获取测试集对第二深 度学习模型效果进行测试， 当准确率达到设定阈 值时即认 为第二深度学习模型训练完成。 深度相 机获取的数据无需存储， 且全程无人工参与， 不 存在可视场景， 第二深度学习模 型训练完成后即 可撤出深度相机， 能有效解决用户隐私问题。 此 外， 本方法还能够根据特定对象特定需求在特定 环境中灵活调整第二深度学习模 型， 解决了模型 应用单一的问题。 权利要求书5页 说明书11页 附图1页 CN 114782987 A 2022.07.22 CN 114782987 A 1.一种基于深度相机监 督的毫米波雷达姿态 识别方法， 其特 征在于， 包括以下步骤： S1、 分别构建第一深度学习模型和第二深度学习模型； 通过深度相机与毫米波雷达同 时对采集对 象进行数据采集； 对于第一组采集对 象， 将深度相 机采集的数据作为第一数据 集， 将毫米波 雷达采集的数据作为第二数据集； 对于第二组采集对象， 将深度相机采集的数 据作为第三数据集， 将毫米波雷达采集的数据作为第四数据集； S2、 将第一数据集中每一时刻的数据通过第一深度学习模型进行姿态识别， 得到第一 目标姿态集； 提取第二数据集中每一时刻的特 征参数， 得到第一特 征参数集； S3、 对于同一时刻的数据， 采用第一目标姿态集对第 二特征参数集进行姿态标记， 得到 带标签数据； S4、 将带标签数据作为训练集对第二深度学习模型进行训练， 得到预训练后的第二深 度学习模型； S5、 将第三数据集中每一时刻的数据通过第一深度学习模型进行姿态识别， 得到第二 目标姿态集； 提取第四数据集中每一时刻的特 征参数， 得到第二特 征参数集； S6、 将第二特征参数集作为预训练后的第二深度学习模型的训练集， 将预训练后的第 二深度学习模型的输出与第二目标姿态集进 行比较， 得到预训练后的第二深度学习模型的 姿态识别准确率； S7、 判断预训练后的第二深度学习模型的姿态识别准确率是否达到阈值， 若是则将当 前预训练后的第二深度学习模型作为最终姿态识别模型， 进入步骤S8； 否则修改预训练后 的第二深度学习模型参数， 返回步骤S3； S8、 采用毫米波雷达作为待识别对象的数据获取器， 采用最终姿态识别模型对毫米波 雷达获取的数据进行姿态 识别， 输出识别结果。 2.根据权利要求1所述的基于深度相机监督的毫米波雷达姿态识别方法， 其特征在于， 步骤S2中将第一数据集中每一时刻的数据进行姿态 识别的具体方法包括以下子步骤： S2‑1、 对于第一数据集中每一时刻的数据， 获取 人体特征关键点 位置信息； S2‑2、 根据人体特 征关键点 位置信息计算人体姿态特 征参数； S2‑3、 将提取出的人体姿态特征参数作为第一深度学习模型的输入， 获取第一深度学 习模型输出的姿态标签， 得到第一目标姿态集。 3.根据权利要求2所述的基于深度相机监督的毫米波雷达姿态识别方法， 其特征在于， 步骤S2‑1中人体特征关键点包括脖子、 右肩、 右肘、 右腕、 左肩、 左肘、 左腕、 右臀、 右膝、 右脚 踝、 左臀、 左膝和左脚踝。 4.根据权利要求3所述的基于深度相机监督的毫米波雷达姿态识别方法， 其特征在于， 步骤S2‑2的具体方法为： 根据公式：权　利　要　求　书 1/5 页 2 CN 114782987 A 2获取人体身高H； 其中Htop为颈部到左、 右臀连线中心点的距离； Hbottom为左、 右腿长度的 均值； HL为左腿长度； HR为右腿长度； xneck、 yneck和zneck分别为脖子在三维坐 标系中的x轴坐 标 值、 y轴坐标值和z轴坐标值； xl‑hip、 yl‑hip和zl‑hip分别为左臀在三维坐标系中的x轴坐标值、 y 轴坐标值和z轴坐标值； xr‑hip、 yr‑hip和zr‑hip分别为右臀在三维坐标系中的x轴坐标值、 y轴坐 标值和z轴坐标值； xl‑knee、 yl‑knee和zl‑knee分别为左膝在三维坐标系中的x轴坐标值、 y轴坐标 值和z轴坐标值； xr‑knee、 yr‑knee和zr‑knee分别为右膝在三维坐标系中的x轴坐标值、 y轴坐标值 和z轴坐标值； xl‑ank、 yl‑ank和zl‑ank分别为左 脚踝在三维坐标系中的x轴坐标值、 y轴坐标值和 z轴坐标值； xr‑ank、 yr‑ank和zr‑ank分别为右脚踝在三维坐标系中的x轴坐标值、 y轴坐标值和z 轴坐标值； xl‑knee、 yl‑knee和zl‑knee分别为左膝在三维坐标系中的x轴坐标值、 y轴坐标值和z轴 坐标值； xr‑knee、 yr‑knee和zr‑knee分别为右膝在三维坐标系中的x轴坐标值、 y轴坐标值和z轴坐 标值； 根据公式： Hp＝max[(zneck‑zl‑ank),(zneck‑zr‑ank)] 获取颈部到左 脚踝高度差与颈部到右脚踝 高度差的最大值Hp， 并将其作为 当前高度； 其 中max[·]为取最大值 函数； 根据公式： 获取颈部到左右臀部中点连线与水平方向的夹角 θtop， 并将其作为上半身与水平倾角； 其中tan(·)为正切函数； 根据公式： 权　利　要　求　书 2/5 页 3 CN 114782987 A 3