(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211225920.4 (22)申请日 2022.10.09 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 杨文涛　黄亚峰　张舒莹　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 徐焕　童磊 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) (54)发明名称 动作行为的识别方法、 装置和服 务器 (57)摘要 本说明书提供了动作行为的识别方法、 装置 和服务器， 应用于人工智 能技术领域。 基于上述 方法， 具体实施前， 可以预先训练得到至少包括 通过预设连接并联的第一分支网络和第二分支 网络的预设的动作行为识别模型。 具体实施时， 可以利用预设的动作行为识别模型处理所获取 的目标视频， 以得到目标识别结果； 再根据目标 识别结果， 确定目标对象动作行为的细粒度识别 结果。 从而可以通过有效利用粗粒度行为识别时 得到的第一类视频特征， 与细粒度行为识别时得 到的第二类视频特征进行融合； 并根据融合后的 视频特征进行较为精细的细粒度识别， 得到精度 较高的细粒度识别结果， 进而可以精 准地检测判 断该目标对象的动作行为是否存在风险， 减少检 测误差。 权利要求书2页 说明书12页 附图4页 CN 115497168 A 2022.12.20 CN 115497168 A 1.一种动作行为的识别方法， 其特 征在于， 包括： 获取目标视频； 其中， 所述目标视频包 含有目标对象的动作影 像； 利用预设的动作行为识别模型处理目标视频， 得到对应的目标识别结果； 其中， 预设的 动作行为识别模型至少包括并联的第一分支网络和 第二分支网络； 所述第一分支网络与第 二分支网络通过预设连接相连； 所述第一分支网络用于进行粗粒度行为识别； 所述第一分 支网络在进行粗粒度行为识别时所生成的第一类视频特征通过预设连接流入第二分支网 络， 并与第二分支网络生成的第二类视频 特征融合， 以进行细粒度行为识别； 根据目标识别结果， 确定出目标对象动作行为的细粒度识别结果。 2.根据权利要求1所述的方法， 其特征在于， 在根据目标识别结果， 确定出目标对象动 作行为的细粒度识别结果之后， 所述方法还 包括： 根据目标对象动作行为的细粒度识别结果， 检测目标对象的动作行为是否存在风险。 3.根据权利要求1所述的方法， 其特征在于， 所述目标识别结果还包括目标对象动作 行 为的粗粒度识别结果。 4.根据权利要求3所述的方法， 其特征在于， 在根据目标识别结果， 确定出目标对象的 粗粒度行为和细粒度行为之后， 所述方法还 包括： 根据目标对象动作 行为的粗粒度识别结果和细粒度识别结果， 检测目标对象的动作 行 为是否存在风险。 5.根据权利要求2或4所述的方法， 其特征在于， 在根据目标对象动作行为的粗粒度识 别结果和细粒度识别结果， 检测目标对象的动作行为是否存在风险之后， 所述方法还 包括： 在确定目标对象的动作行为存在风险的情况 下， 生成关于目标对象的风险提 示。 6.根据权利要求1所述的方法， 其特征在于， 所述预设的动作 行为识别模型包括基于双 流网络思想的神经网络模型。 7.根据权利要求6所述的方法， 其特征在于， 所述第二分支网络至少包括融合模块， 其 中， 所述融合模块用于融合第一类视频 特征和第二类视频 特征。 8.根据权利要求7所述的方法， 其特征在于， 利用预设的动作 行为识别模型处理目标视 频， 包括： 利用第一分支网络处 理目标视频， 以提取 出第一类视频 特征； 利用第二分支网络处理目标视频， 以提取出第二类视屏特征； 并利用融合模块融合第 一类视频 特征和第二类视频 特征， 得到融合后的视频 特征； 利用第二分支网络处理融合后的视频特征， 以得到目标对象动作行为的细粒度识别结 果。 9.根据权利要求4所述的方法， 其特征在于， 根据目标对象动作 行为的粗粒度识别结果 和细粒度识别结果， 检测目标对象的动作行为是否存在风险， 包括： 根据预设的拼接规则， 拼接目标对象动作行为的粗粒度识别结果和细粒度识别结果， 得到目标对象动作行为的综合识别结果； 利用预设的行为风险检测模型处理目标对象的目标对象动作 行为的综合识别结果， 以 确定目标对象的行为是否存在风险。 10.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 构建初始 的动作行为识别模型； 其中， 所述初始 的动作行为识别模型至少包括通过预权　利　要　求　书 1/2 页 2 CN 115497168 A 2设连接相连的初始的第一分支网络和初始的第二分支网络； 所述初始的第一分支网络和初 始的第二分支网络上还分别配置有第一损失函数和第二损失函数； 获取并利用样本数据， 训练初始的动作行为识别模型； 并在训练过程中， 控制第 一损失 函数和第二损失函数进行网络参数的联合优化， 以得到符合精度要求的预设的动作行为识 别模型。 11.根据权利要求1所述的方法， 其特 征在于， 在获取目标视频之后， 所述方法还 包括： 对目标视频进行遮挡检测， 以及确定目标视频 是否符合预设要求。 12.一种动作行为的识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标视频； 其中， 所述目标视频包 含有目标对象的动作影 像； 处理模块， 用于利用预设的动作行为识别模型处理目标视频， 得到对应的目标识别结 果； 其中， 预设的动作行为识别模型至少包括并联的第一分支网络和第二分支网络； 所述第 一分支网络与第二分支网络通过预设连接相连； 所述第一分支网络用于进 行粗粒度行为识 别； 所述第一分支网络在进行粗粒度行为识别时所生成的第一类视频特征通过预设连接流 入第二分支网络， 并与第二分支网络生成的第二类视频 特征融合， 以进行细粒度行为识别； 确定模块， 用于根据目标识别结果， 确定出目标对象动作行为的细粒度识别结果。 13.一种服务器， 其特征在于， 包括处理器以及用于存储处理器可执行指令的存储器， 所述处理器执行所述指令时实现权利要求1至1 1中任一项所述方法的步骤。 14.一种计算机可读存储介质， 其特征在于， 其上存储有计算机指令， 所述指令被处理 器执行时实现权利要求1至1 1中任一项所述方法的步骤。 15.一种计算机程序产品， 其特征在于， 包含有计算机程序， 所述计算机程序被处理器 执行时实现权利要求1至1 1中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115497168 A 3