(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210890600.4 (22)申请日 2022.07.27 (71)申请人 交控科技股份有限公司 地址 100070 北京市丰台区智成北街3号院 交控大厦1号楼1层101室 (72)发明人 刘义卿　付哲　 (74)专利代理 机构 北京科慧致远知识产权代理 有限公司 1 1739 专利代理师 宋珊珊　李瑞 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06T 7/11(2017.01) (54)发明名称 一种多目标行为检测方法、 设备、 存 储介质 (57)摘要 本申请提供一种多目标行为检测方法、 设 备、 存储介质， 该方法包括： 通过第一线程获取视 频流的各帧图像； 通过第二线程和第三线程从第 一线程中获取相同帧图像， 得到相同帧图像的检 测属性和特征图； 通过第四线程根据检测属性对 特征图进行剪裁， 得到特征矩阵； 通过第五线程 根据特征矩阵进行动作分类， 得到动作类别； 通 过第六线程对检测属性、 相同帧图像、 动作类别 进行多目标行为检测。 本申请提供的方法通过多 线程对CCTV系统内画面的进行自动监控。 权利要求书2页 说明书10页 附图2页 CN 115376042 A 2022.11.22 CN 115376042 A 1.一种多目标 行为检测方法， 其特 征在于， 所述方法包括： 通过第一线程获取视频流的各帧图像； 通过第二线程和第 三线程从所述第 一线程中获取相同帧图像， 得到所述相同帧图像的 检测属性和特 征图； 通过第四线程 根据所述检测 属性对所述特 征图进行剪 裁， 得到特 征矩阵； 通过第五线程 根据所述特 征矩阵进行动作分类， 得到动作类别； 通过第六线程对所述检测 属性、 所述相同帧图像、 动作类别进行多目标 行为检测。 2.根据权利要求1所述的方法， 其特征在于， 所述通过第 二线程和第 三线程从所述第 一 线程中获取相同帧图像， 得到所述相同帧图像的检测 属性和特 征图， 包括： 通过第二线程和第三线程从所述第一线程中获取相同帧图像； 通过所述第二线程对所述相同帧图像进行目标检测和目标追踪， 得到检测属性； 所述 检测属性包括如下 的一种或多种： 多个目标 的标识、 多个目标的类别和多个目标的空间位 置； 通过第三线程对所述相同帧图像进行处 理， 得到特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述通过第四线程根据所述检测属性对所 述特征图进行剪 裁， 得到特 征矩阵， 包括： 通过第四线程 根据所述多个目标的空间位置对所述特 征图进行剪 裁； 通过第四线程 根据所述多个目标的标识和所述多个目标的类别构建多个特 征矩阵。 4.根据权利要求1所述的方法， 其特征在于， 所述通过第五线程根据所述特征矩阵进行 动作分类， 得到动作类别， 包括： 通过第五线程将所述特 征矩阵打包送入动作分类模型， 得到动作类别。 5.根据权利要求1所述的方法， 其特征在于， 所述通过第六线程对所述检测属性、 所述 相同帧图像、 动作类别进行多目标 行为检测， 包括： 通过第六线程将所述检测属性、 所述相同帧图像、 动作类别进行打包， 并基于打包文件 进行多目标 行为检测。 6.根据权利要求2所述的方法， 其特征在于， 所述通过所述第 二线程对所述相同帧图像 进行目标检测 和目标追踪， 得到检测 属性， 包括： 通过所述第二线程将所述相同帧图像输入YOLOV5中进行目标检测， 得到多个目标的标 识、 多个目标的类别和多个目标的空间位置； 通过所述第二线程将所述多个目标的空间位置输入DeepS ORT中进行目标追踪， 得到检 测属性。 7.根据权利要求6所述的方法， 其特征在于， 所述通过所述第 二线程将所述多个目标的 空间位置 输入DeepSORT中进行目标追踪， 得到检测 属性， 包括： 通过所述第二线程将所述多个目标的空间位置 输入DeepSORT中； 所述DeepSORT针对每 个目标的空间位置， 得到各目标的运动状态； 通过标准卡尔曼滤波器对各目标的运动状态进行 预测， 得到预测结果； 对于任一目标， 若根据 预测结果确定所述任一目标最后一 次出现到当前帧所间隔的帧 数大于预设阈值， 则确定所述任一目标追踪结束。 8.根据权利要求2所述的方法， 其特征在于， 所述通过第 三线程对所述相同帧图像进行权　利　要　求　书 1/2 页 2 CN 115376042 A 2处理， 得到特 征图， 包括： 通过第三线程 提取所述相同帧图像X， Y方向梯度通道信息； 通过第三线程利用光 流函数提取当前帧与其前一帧的稠密光 流矩阵； 通过第三线程将所述稠密光 流矩阵分为X， Y方向两个光 流通道信息； 通过第三线程 根据X和Y方向梯度通道信息和X， Y方向两个光 流通道信息得到特 征图。 9.一种电子设备， 其特 征在于， 包括： 存储器； 处理器； 以及 计算机程序； 其中， 所述计算机程序存储在所述存储器中， 并被配置为由所述处理器执行以实现如 权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序； 所述计算机程序 被处理器执行以实现如权利要求1 ‑8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115376042 A 3