(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210352947.3 (22)申请日 2022.04.01 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 张亚娴　黄军　程军　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 纪雯 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 行为识别方法、 深度学习模 型的训练方法及 装置 (57)摘要 本公开提供了一种行为识别方法、 深度学习 模型的训练方法及装置、 设备、 介质和产品， 涉及 人工智能技术领域， 具体为深度学习、 计算机视 觉技术领域， 可应用于智能安防、 3D视觉、 虚拟现 实等场景。 具体实现方案包括： 对图像序列进行 特征提取， 得到与图像序列中的至少一帧图像关 联的初始图像特征； 根据初始图像特征和针对至 少一帧图像的对象检测结果， 确定与至少一帧图 像关联的目标图像特征； 以及基于目标图像特 征， 进行针对至少一帧图像的对象行为识别， 得 到行为识别结果。 权利要求书5页 说明书12页 附图5页 CN 114663980 A 2022.06.24 CN 114663980 A 1.一种行为识别方法， 包括： 对图像序列进行特征提取， 得到与 所述图像序列中的至少一帧图像关联的初始图像特 征； 根据所述初始图像特征和针对所述至少一帧图像的对象检测结果， 确定与 所述至少一 帧图像关联的目标图像特 征； 以及 基于所述目标图像特征， 进行针对所述至少一帧图像的对象行为识别， 得到行为识别 结果。 2.根据权利要求1所述的方法， 其中， 所述对图像序列进行特征提取， 得到与 所述图像序列中的至少一帧图像关联的初始图 像特征， 包括： 对所述图像序列进行特征提取， 得到与所述至少一帧图像关联的全局时空特征， 以作 为所述初始图像特 征； 以及 所述根据 所述初始图像特征和针对所述至少一帧图像的对象检测结果， 确定与所述至 少一帧图像关联的目标图像特 征， 包括： 根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征， 确定与 所述待检测对象关联的局域时空特 征， 以作为所述目标图像特 征。 3.根据权利要求2所述的方法， 其中， 所述对所述图像序列进行特征提取， 得到与所述 至少一帧图像关联的全局时空特 征， 包括： 对所述图像序列进行空间特征提取， 得到与所述至少一帧图像关联的全局 空间特征； 以及 对所述全局空间特征进行基于预设时域尺度的特征提取， 得到与所述至少一帧图像关 联的全局时空特 征。 4.根据权利要求1所述的方法， 其中， 所述对图像序列进行特征提取， 得到与 所述图像序列中的至少一帧图像关联的初始图 像特征， 包括： 对所述图像序列进行特征提取， 得到与所述至少一帧图像关联的全局 空间特征， 以作 为所述初始图像特 征； 以及 所述根据 所述初始图像特征和针对所述至少一帧图像的对象检测结果， 确定与所述至 少一帧图像关联的目标图像特 征， 包括： 根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征， 确定与 所述待检测对象关联的局域空间特 征； 对所述局域空间特征进行基于预设时域尺度的特征提取， 得到与所述待检测对象关联 的局域时空特 征， 以作为所述目标图像特 征。 5.根据权利要求2至4中任一项所述的方法， 其中， 所述基于所述目标图像特征， 进行针 对所述至少一帧图像的对象行为识别， 得到行为识别结果， 包括： 根据与所述待检测对象关联的局域时空特征， 筛选包含行为特征的目标时空特征； 以 及 基于所述目标时空特征， 确定所述待检测对象的行为属于预设行为类别的置信度， 得 到所述行为识别结果。权　利　要　求　书 1/5 页 2 CN 114663980 A 26.根据权利要求2至4中任一项所述的方法， 其中， 所述基于所述目标图像特征， 进行针 对所述至少一帧图像的对象行为识别， 得到行为识别结果， 包括： 根据与所述待检测对象关联的局域 时空特征， 确定所述局域 时空特征与预设特征空间 范围的行为特 征中心之间的距离； 以及 根据所述局域 时空特征与 所述行为特征中心之间的距离， 确定针对所述待检测对象的 行为识别结果， 其中， 所述行为特 征中心用于表征 所述特征空间范围内的行为特 征。 7.根据权利要求2至 6中任一项所述的方法， 还 包括： 根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征， 对所述待检测 对象进行追踪， 得到对象追踪结果。 8.一种深度学习模型的训练方法， 包括： 利用待训练的深度学习模型， 对样本 图像序列进行特征提取， 得到与所述样本 图像序 列中的至少一帧样本图像关联的初始样本特 征； 根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果， 确定与所述至 少一帧图像关联的目标样本特 征； 基于所述目标样本特征， 进行针对所述至少一帧样本 图像的对象行为识别， 得到行为 识别结果； 以及 根据所述行为识别结果和预设行为标签， 对所述深度学习模型的模型参数进行调整， 得到经训练的深度学习模型。 9.根据权利要求8所述的方法， 其中， 所述对样本图像序列进行特征提取， 得到与样本图像序列中的至少一帧样本图像关联 的初始样本特 征， 包括： 对所述样本图像序列进行特征提取， 得到与所述至少一帧样本图像关联的全局时空特 征， 以作为所述初始样本特 征； 以及 所述根据 所述初始样本特征和针对所述至少一帧样本图像的对象检测结果， 确定与 所 述至少一帧图像关联的目标样本特 征， 包括： 根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征， 确定与 所述待检测对象关联的局域时空特 征， 以作为所述目标样本特 征。 10.根据权利要求9所述的方法， 其中， 所述对所述样本图像序列进行特征提取， 得到与 所述至少一帧样本图像关联的全局时空特 征， 包括： 对所述样本图像序列进行空间特征提取， 得到与 所述至少一帧样本图像关联的全局空 间特征； 以及 对所述全局空间特征进行基于预设时域尺度的特征提取， 得到与所述至少一帧样本图 像关联的全局时空特 征。 11.根据权利要求8所述的方法， 其中， 所述对样本图像序列进行特征提取， 得到与样本图像序列中的至少一帧样本图像关联 的初始样本特 征， 包括： 对所述样本图像序列进行特征提取， 得到与所述至少一帧样本图像关联的全局空间特 征， 以作为所述初始图像特 征； 以及权　利　要　求　书 2/5 页 3 CN 114663980 A 3