(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210373621.9 (22)申请日 2022.04.11 (71)申请人 国网山东省电力公司莱芜供电公司 地址 250000 山东省济南市莱芜区凤 城街 道鲁中西大街21号 申请人 国家电网有限公司 (72)发明人 焦敏　亓振亮　谭冲　张伟　 李晓磊　亓鹏　陈顺东　崔建　 丁利朝　何鹏　王洪瑞　张文利　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李圣梅 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度特征的人类动作识别方法及系 统 (57)摘要 本发明提出了基于多尺度特征的人类动作 识别方法及系统， 包括： 利用卷积网络获取视频 序列的空间特征； 针对空间特征在时间维度上取 局部窗口， 在局部窗口内进行计算获取基于初级 局部特征的最大响应； 对基于初 级局部特征的最 大响应进行处理获得次级特征； 对于次级特征在 时间维度上取局部窗口， 在局部窗口内进行计算 获取基于次级局部特征的最大响应； 对于基于初 级局部特征的最大响应及基于次级局部特征的 最大响应过加权融合的方式获得最终动作分类， 所获得的特征对应着视频序列的短期、 中期、 长 期特征。 本发 明对于时间序列进行短期和长期建 模， 提升动作识别算法性能。 权利要求书2页 说明书6页 附图1页 CN 114743265 A 2022.07.12 CN 114743265 A 1.基于多尺度特 征的人类动作识别方法， 其特 征是， 包括： 利用卷积网络获取视频序列的空间特 征； 针对空间特征在时间维度上取局部窗口， 在局部窗口内进行计算获取基于初级局部特 征的最大响应； 对基于初级局部特 征的最大响应进行处 理获得次级特 征； 对于次级特征在时间维度上取局部窗口， 在局部窗口内进行计算获取基于次级局部特 征的最大响应； 对于基于初级局部特征的最大响应及基于次级局部特征的最大响应过加权融合的方 式获得最终动作分类， 所获得的特 征对应着视频序列的短期、 中期、 长期特 征。 2.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 利用卷积网络 获取视频序列的空间特 征， 具体为： 对于含有T帧的视频序列， 通过2D卷积神经网络对每一帧进行特征提取， 获得T ×HW维 度的特征表示。 3.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 对于基于初级 局部特征的最大响应进行移位操作， 并进行self ‑attention计算， 以扩大模型感受野。 4.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 利用第一层 Swin Transformer单元对移位操作后的特征进行处理， 生成 的次级特征， 对次级特征进行 局部的特 征融合， 融合比例为 N， 则生成大小为T/N ×HW维度特 征。 5.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 对于次级特 征， 进行移位操作， 并进行self ‑attention计算， 以扩大模型感受野。 6.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 利用第二层 Swin Transformer单元对移位操作后的特征进行处理， 生成 的次级特征， 对次级特征进行 局部的特 征融合， 融合比例为 N， 则生成大小为T/N2×HW维度特 征。 7.如权利要求1所述的基于多尺度特征的人类动作识别方法， 其特征是， 对于不同层次 的特征所对应的分类结果， 采取加权方式 融合， 具体实现形式的数 学表示为： C＝argmax(softmax(R1)+α·softmax(R2)+β·softmax(R3))。 8.基于多尺度特 征的人类动作识别系统， 其特 征是， 包括： 空间特征获取模块， 被 配置为： 利用卷积网络获取视频序列的空间特 征； 初级局部特征的最大响应获取模块， 被配置为： 针对空间特征在时间维度上取局部窗 口， 在局部窗口内进行计算获取基于初级局部特 征的最大响应； 次级局部特征的最大响应获取模块， 被配置为： 对基于初级局部特征的最大响应进行 处理获得次级特 征； 对于次级特征在时间维度上取局部窗口， 在局部窗口内进行计算获取基于次级局部特 征的最大响应； 动作分类模块， 被配置为： 对于基于初级局部特征的最大响应及基于次级局部特征的 最大响应过加权融合的方式获得最终动作分类， 所获得的特征对应着视频序列的短期、 中 期、 长期特 征。 9.一种计算装置,包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现上述权利要求1 ‑7任一所述的方法的步骤。权　利　要　求　书 1/2 页 2 CN 114743265 A 210.一种计算机可读存储介质， 其上存储有计算机程序， 该程序被处理器执行时执行上 述权利要求1 ‑7任一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114743265 A 3