(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210318470.7 (22)申请日 2022.03.29 (65)同一申请的已公布的文献号 申请公布号 CN 114419738 A (43)申请公布日 2022.04.29 (73)专利权人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 许鲁珉　金晟　刘文韬　钱晨　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 韦佳黎 (54)发明名称 一种姿态检测方法、 装置、 电子设备以及存 储介质 (57)摘要 本公开提供了一种姿态检测方法、 装置、 电 子设备以及存储介质， 其中， 包括： 获取包含多个 具有连接关系的网络模块的模型搜索空间； 利用 搜索参数， 在模 型搜索空间的多个网络模块中搜 索满足计算 资源约束条件的多组目标网络， 并确 定每组目标网络的网络连接信息； 每组目标网络 包括多个子网络， 多个子网络包含用于进行躯干 姿态检测的第一子网络和用于进行局部肢体检 测的第二子网络， 目标网络的多个子网络为对多 个网络模块进行结构调整之后得到， 网络连接信 息用于表征第一子网络输出的多层次特征中与 第二子网络的输入数据相 匹配的第一特征的属 性信息； 基于每组目标网络和每组目标网络的网 络连接信息确定用于对待处理图片进行姿态检 测的目标姿态检测网络 。 权利要求书3页 说明书20页 附图5页 CN 114419738 B 2022.07.05 CN 114419738 B 1.一种姿态检测方法， 其特 征在于， 包括： 获取模型搜索空间； 所述模型搜索空间中包 含多个具有连接关系的网络模块； 利用搜索参数， 在所述模型搜索空间的多个网络模块中搜索满足计算资源约束条件的 多组目标网络， 并确定每组目标网络的网络连接信息； 每组所述目标网络包括多个子网络， 所述多个子网络包含用于进行躯干姿态检测的第一子网络和用于进行局部肢体检测的第 二子网络， 所述目标网络的多个子网络为对所述多个网络模块进行结构调整之后得到， 所 述网络连接信息用于表征所述第一子网络输出的多层次特征中与所述第二子网络的输入 数据相匹配的第一特征的属性信息， 所述属性信息用于指示第一特征在第一子网络中的输 出位置， 不同的第二子网络所检测的局部肢体的肢体 类型不相同； 基于每组所述目标网络和每组所述目标网络的网络连接信 息确定目标姿态检测网络， 其中， 所述目标姿态检测网络用于对待处 理图片进行姿态检测。 2.根据权利要求1所述的方法， 其特征在于， 所述利用搜索参数， 在所述模型搜索空间 的多个网络模块中搜索满足计算资源约束 条件的多组目标网络， 并确定每组目标网络的网 络连接信息， 包括： 基于所述搜索参数中的结构搜索参数对所述多个网络模块进行结构搜索， 得到所述多 组目标网络； 基于所述搜索参数中的特征搜索参数确定每组所述目标网络的第一子网络和该组目 标网络的第二子网络之间的网络连接信息 。 3.根据权利要求2所述的方法， 其特征在于， 每个所述网络模块中包含多个网络层； 所 述基于所述搜索参数中的结构 搜索参数对所述多个网络模块进行结构 搜索， 得到所述多组 目标网络， 包括： 基于所述结构搜索参数确定每个所述网络模块中各个网络层所执行的计算操作的执 行方式； 通过所述执行方式对所述多个网络模块进行搜索， 得到满足计算资源约束条件的所述 多组目标网络 。 4.根据权利要求2所述的方法， 其特征在于， 所述基于所述搜索参数中的特征搜索参数 确定每组所述目标网络的第一子网络和该组目标网络的第二子网络之 间的网络连接信息， 包括： 基于所述特征搜索参数在每组所述目标网络的第一子网络中确定第一特征的特征输 出位置； 确定在所述第一特征中感兴趣区域的区域尺寸； 其中， 所述感兴趣区域为进行特征截 取的特征截取区域， 所述感兴趣区域中所包含肢体的肢体类型与所述第二子网络所检测的 局部肢体的肢体 类型匹配； 基于所述特征输出位置和所述感兴趣区域的区域尺寸， 确定每组所述目标网络的第 一 子网络和该组目标网络的第二子网络之间的网络连接信息 。 5.根据权利要求2所述的方法， 其特征在于， 所述结构搜索参数包括以下至少之一： 模 块深度参数、 卷积层通道数、 卷积核大小参数、 卷积层分组数量参数、 注意力模块参数和输 入数据的分辨 率。 6.根据权利要求1所述的方法， 其特征在于， 所述利用搜索参数， 在所述模型搜索空间权　利　要　求　书 1/3 页 2 CN 114419738 B 2的多个网络模块中搜索满足计算资源约束条件的多组目标网络， 包括： 获取多组搜索参数， 其中， 一组搜索参数用于 搜索该组目标网络中的一个子网络； 基于每组所述搜索参数在所述模型搜索空间的多个网络模块中进行并行搜索， 得到所 述多组目标网络 。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 确定各个所述网络模块的模块类型， 其中， 所述模块类型与该网络模块中网络层所执 行的计算操作的操作类型相关联； 基于各个所述网络模块的模块类型， 确定所述搜索参数。 8.根据权利要求1所述的方法， 其特征在于， 所述基于每组所述目标网络和每组所述目 标网络的网络连接信息确定目标姿态检测网络， 包括： 按照每组所述目标网络的网络连接信 息， 对该组目标网络 中的第一子网络和第 二子网 络进行连接， 得到多个备选姿态检测网络； 通过测试样本对每 个所述备选姿态检测网络进行测试， 得到测试 结果； 通过所述测试结果中满足预测测试精度的备选姿态检测网络确定所述目标姿态检测 网络。 9.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在检测到所述计算资源约束条件的更新信 息的情况下， 获取满足新计算资源约束条件 的新目标姿态检测网络； 其中， 所述 新目标姿态检测网络用于对待处 理图片进行姿态检测。 10.一种姿态检测方法， 其特 征在于， 包括： 获取待处理图片， 并通过目标姿态检测网络 中的第一子网络对所述待处理图片中的目 标对象进 行躯干姿态检测， 得到躯干姿态检测结果， 所述躯干姿态检测结果包括： 局部肢体 部位的肢体检测框和躯干 关键点， 所述目标姿态检测网络为通过上述权利要求 1至9中任一 项所述的姿态检测方法确定的网络； 通过所述目标姿态检测网络中的第二子网络利用所述肢体检测框对所述第一子网络 的输出特征中与所述第二子网络相匹配的输出特征进 行处理， 得到局部肢体关键点； 其中， 所述相匹配的输出特征为基于第一子网络中与第二子网络相连接的网络模块所输出的特 征确定， 不同的第二子网络所检测的局部肢体的肢体 类型不相同； 基于所述躯 干关键点和所述局部肢体关键点确定所述待处 理图片的姿态检测结果。 11.根据权利要求10所述的方法， 其特征在于， 所述通过所述目标姿态检测网络 中的第 二子网络利用所述肢体检测框对所述第一子网络的输出特征中与所述第二子网络相匹配 的输出特征进行处 理， 得到局部肢体关键点， 包括： 在所述第一子网络输出的多层次特征中确定与 所述第二子网络相匹配的第 二特征， 并 基于所述肢体 检测框在所述第二特 征中截取局部肢体特 征； 通过所述第二子网络对所述局部肢体特 征进行处 理， 得到局部肢体关键点。 12.根据权利要求11所述的方法， 其特征在于， 所述基于所述肢体检测框在所述第 二特 征中截取局部肢体特 征， 包括： 按照预设区域尺寸对所述肢体检测框进行缩放处理， 并基于缩放处理之后的肢体检测 框在所述第二特 征中截取局部肢体特 征。 13.一种姿态检测装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114419738 B 3