(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210292119.5 (22)申请日 2022.03.24 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 梁爽　王颉文　谢驰　庄子鲲　 赵生捷　 (74)专利代理 机构 上海诺衣知识产权代理事务 所(普通合伙) 31298 专利代理师 张若川 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于姿态增强型关系特征的人体动作 识别方法 (57)摘要 本发明公开了一种基于姿态增强型关系特 征的人体动作识别方法,包括以下步骤： S1： 获取 人体姿态关键点数据和周围物体包围框， 并将姿 态关键点数据转换为包围框格式； S2： 使用基础 网络提取图像特征， 并通过 ROIPooling进 一步得 到人体、 姿态、 物体对应的基础特征； S3： 利用基 础特征与包围框分别计算出2组人体 ‑姿态关系 特征与2组人体 ‑物体关系特征， 将关系特征按特 定权重与基础特征融合， 获得人体、 姿态、 物体增 强型特征； S4： 将三种增强型特征送入分类器， 并 将分类结果进行融合， 得到各动作对应的分数， 从而获得最终识别结果， 与现有技术相比， 本发 明考虑了动作识别中的不同情况， 具有识别精度 高、 适用范围广等优点。 权利要求书3页 说明书9页 附图2页 CN 114724181 A 2022.07.08 CN 114724181 A 1.一种基于姿态增强型关系特 征的人体动作识别方法， 其特 征在于： 包括以下步骤： S1： 获取人体姿态关键点数据和周围物体包围框， 并将姿态关键点数据转换为包围框 格式； S2： 使用基础网络提取图像特征， 并通过ROI  Pooling进一步得到人体、 姿态、 物体对应 的基础特 征； S3： 利用基础特征与包围框分别计算出2组人体 ‑姿态关系特征与2组人体 ‑物体关系特 征， 将关系特 征按特定 权重与基础特 征融合， 获得 人体、 姿态、 物体增强型 特征fhr、 fpr和for； S4： 将三种增 强型特征送入分类器， 并将分类结果进行融合， 得到各动作对应的分数， 从而获得最终识别结果。 2.根据权利要求1所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 所述的步骤S1具体包括： S11： 利用基于卷积神经网络的目标检测方法检测出图像中的物体， 得到其包围框bo； S12： 利用基于卷积神经网络的姿态估计方法检测出 人体姿态， 得到人体姿态关键点； S13： 将人体姿态关键点按照特定转换规则进行组合与计算， 使其映射到局部身体部 位， 将计算所得部位根据缩放因子k与身体部位缩放规则进 行缩放， 输出包围框格式的姿态 区域bp。 3.根据权利要求2所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 所述人体姿态关键点到局部身体部位的转换规则定义为： 鼻子、 左耳、 右耳关键点转 换为头部区域； 左肩、 右肩、 左臀、 右臀关键点转换为身体区域； 左腕、 左肘关键点转换为左 手区域； 右腕、 右肘关键点转换为右手区域； 左腕、 左肘、 左肩关键点转换为左肘区域； 右腕、 右肘、 右肩关键点转换为右肘区域； 左膝、 左踝关键点转换为左脚区域； 右膝、 右踝关键点转 换为右脚区域； 左膝、 左踝、 左臀关键点转换为左膝区域； 右膝、 右踝、 右臀关键点转换为右 膝区域。 4.根据权利要求2所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 所述的身体部位缩放规则为： 设某一身体部位的左上坐标为(x0， y0)， 长度为w0， 宽度 为h0， 缩放因子k 为满足0.5 0≤k≤1.5 0的小数， 则最终输出的姿态区域可描述 为： 左上角横坐标 左上角纵坐标 长度w＝kw0； 宽度h＝kh0。 5.根据权利要求1所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 所述 步骤S3具体包括： S31： 对人体基础 特征fh与姿态基础 特征fp计算关系权重， 得到权重wp； 对人体基础 特征 fh与物体基础特征fo计算关系权 重， 得到权重wo； S32： 对人体包围框与姿态包围框进行空间位置编码， 得到权重wploc； 对人体包围框与物 体包围框进行空间位置编码， 得到 权重woloc； S33： 根据姿态相关的权重wp和wploc以及人体、 姿态的基础特征计算出两组姿态增强的权　利　要　求　书 1/3 页 2 CN 114724181 A 2关系特征fhp和fph， 根据物体相关的权重wo和woloc以及人体、 物体的基础特征计算出两组物 体增强的关系特 征fho和foh； S34： 给4组关系特征赋予特定权重， 并将人体主导的两种关系特征进行融合， 输出三种 关系特征。 6.根据权利要求5所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 姿态关系权 重wp的计算方法为： 其中， F函数为特征维度转换函数， 通过全连接层将两种基础特征转换至同一线性空 间， 便于处理， dk为转换完成后基础特 征的维度； 物体关系权 重wo的计算方法为： 7.根据权利要求5所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 姿态空间位置编码权 重Wploc的计算方法为： wploc＝F·L(bh， bp) 其中， F函数为特征维度转换函数， 形式可为全连接层或一维卷积； L函数为三角函数形 式的空间位置编码函数， 对人体包围框坐标bh与姿态包围框坐标bp进行编码； 物体空间位置编码权 重woloc的计算方法为： woloc＝F·L(bh， bo) 其中， bo为物体包围框坐标。 8.根据权利要求5所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 姿态增强的关系特 征fhp的计算方法为： fhp＝F(fp·∑(wplocwp)) 其中， F函数为维度转换函数， 形式可为全连接层或一维卷积； 计算另一组姿态增强型关系特 征fph， 只需将权 重wp进行转置； 计算物体增强的关系特征fho与foh只需分别将fhp与fph计算公式中的姿态相关的权重wp 和wploc替换为物体相关的权 重wo和woloc， 并将姿态基础特 征fp替换为物体 基础特征fo。 9.根据权利要求5所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征 在于， 4组关系特 征的赋权规则为： fhp： fho： fph： foh＝k1： k2： k3： k4 其中， k1、 k2、 k3、 k4满足： 0＜k1， k2＜k3， k4 赋权后输出的关系特 征按照以下规则与基础特 征融合并输出增强型关系特 征： fhr＝fh+fhp+fho fpr＝fp+fph for＝fo+foh 即最终的输出为3种增强型 特征fhr、 fpr和for。 10.根据权利要求1所述的一种基于姿态增强型关系特征的人体动作识别方法， 其特征权　利　要　求　书 2/3 页 3 CN 114724181 A 3