(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210412076.X (22)申请日 2022.04.19 (71)申请人 中国科学院声学研究所 地址 100080 北京市海淀区北四环西路21 号 (72)发明人 杨娟　肖雄蔚　岳文蓉　李钟　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 巴晓艳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种人体姿态估计方法及系统 (57)摘要 本发明涉及一种人体姿态估计方法和系统， 包括： S1.对前视声呐图像集进行预处理及标记， 获得人体姿态估计数据集， 将所述人体姿态估计 数据集分为训练集和测试集； S2.使用所述训练 集对YOLOv5模型进行训练， 得到人体目标所在区 域图像； S3.使用所述训练集对改进沙漏模型进 行训练， 将所述人体目标所在区域图像输入至训 练好的改进沙漏模型进行处理， 获得预测的人体 姿态信息。 本发 明的改进的沙漏模 型设置有空间 注意机制， 可自动学习突出重要特征， 抑制背景 噪音， 从而能够从分辨率、 信噪比都比较低的前 视声呐图像集中准确预测出人体关键点， 得到人 体姿态， 对 水下目标判别及救捞任务具有极大的 应用价值。 权利要求书2页 说明书6页 附图3页 CN 114842506 A 2022.08.02 CN 114842506 A 1.一种人体姿态估计方法， 用于从前视声呐图像中预测人体姿态， 其特征在于， 所述方 法包括如下步骤： S1.对前视声呐图像集进行预处理及标记， 获得人体姿态估计数据集， 将所述人体姿态 估计数据集分为训练集和 测试集； S2.使用所述训练集对YOLOv5模型进行训练， 得到所述人体目标 所在区域图像； S3.使用所述训练集对改进沙漏模型进行训练， 将所述人体目标所在区域图像输入至 训练好的改进沙漏模型进行处 理， 获得预测的人体姿态信息 。 2.根据权利要求1所述的人体姿态估计方法， 其特征在于， 所述人体姿态数据集包括对 所有前视声呐图像集进行人工标记获得 的第一标签信息和第二标签信息， 其中， 所述第一 标签信息为所述前视声纳图像集中关于所述人体目标的边界框位置； 所述第二标签信息为 所述前视声纳图像集中关于所述人体目标的包括头、 躯 干、 左腿和右腿四个关键点 位置。 3.根据权利要求2所述的人体姿态估计方法， 其特征在于， 所述S2具体为： 采用所述训 练集中的前视声纳图像与第一标签信息对YOLOv5模型进行训练， 直至收敛， 收敛后的所述 YOLOv5模型从前视声呐图像中检测出所述人体目标， 并将所述人体目标所在区域裁剪出 来， 获得所述人体目标 所在区域图像。 4.根据权利要求2所述的人体姿态估计方法， 其特 征在于， 所述S3具体为： S31.使用所述第 一标签信息得到训练数据中的人体目标所在区域图像， 将所述人体目 标所在区域图像输入至改进的沙漏模型进 行处理， 计算得到所述人体目标的四个关键点位 置； S32.将每次计算得到的所述人体目标的四个关键点位置与所述第二标签信息进行比 较， 计算两者均方误差， 并作为损失函数的输入， 优化所述改进沙漏模型， 将输出达到设定 要求时的所述人体目标的四个关键点 位置作为预测的所述人体目标的四个关键点 位置。 5.根据权利要求 4所述的人体姿态估计方法， 其特 征在于， 所述S31具体包括： S311.所述改进的沙漏模型对所述人体目标所在区域 图像提取特征， 在所述改进 的沙 漏模型的四个上采样阶段前及热力图预测阶段前进行特征图提取， 将提取到的特征图作为 变量， 经过注意力模块计算后得到空间注意力图； S312.将所述空间注意力图与所述 提取到的特 征图相乘操作得到修 正后的特 征图； S313.将所述注意力模块作为所述改进沙漏模型的一部分， 共同参与训练， 直至收敛。 6.根据权利要求5所述的人体姿态估计方法， 其特征在于， 所述 四个上采样阶段前及热 力图预测阶段所提取得到的特征图为Fn， n∈{1,2,3,4,5}， 则所述空间注意图通过下式计 算得到： Mask(Fn)＝sigmoid(Conv(AvgP(Fn)))， 式中， sigmoid为激活函数,Conv为卷积函 数， AvgP为平均池化操作。 7.根据权利要求6所述的人体姿态估计方法， 其特征在于， 所述修改后的特征图通过下 式得到： 其中， Mask(Fn)为所述空间注意力图， Fn为所述特征图， 为修改后的特 征图， 为相乘操作。 8.根据权利要求4所述的人体姿态估计方法， 其特征在于， 所述损失函数为：权　利　要　求　书 1/2 页 2 CN 114842506 A 2其中， x为输入的包含人体目标的前视声呐图像， 为每次 计算得到的所述人体目标的四个关键点位置， 为所述训练集中 的第二标签信息， θ为改进 沙漏模型中的所有可训练参数。 9.一种人体姿态估计系统， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够 被所述处理器执行的计算机可执行指 令， 所述处理器执行所述计算机可执行指 令以实现权 利要求1‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执行指令促使处理 器实现权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114842506 A 3