(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116158.6 (22)申请日 2022.09.14 (71)申请人 深圳市万物云科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 王俊宜　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 谭穗平 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多目标跟踪的高空抛物检测方法 及相关组件 (57)摘要 本发明公开了一种基于多目标跟踪的高空 抛物检测方法及相关组件。 该方法包括： 获取监 控视频流的视频图像并进行预处理， 得到样本图 像； 将样本图像输入FairMOT模型进行特征提取 训练、 目标检测训练和目标重识别训练， 输出训 练后的高空抛物识别模型； 获取监控视频流的当 前图像并进行预处理， 得到待测图像； 将待测图 像输入高空抛物识别模型进行图像识别处理， 输 出待测图像的高空抛物识别结果； 当高空抛物识 别结果为存在高空抛物时， 触发告警并记录高空 抛物运动轨迹。 本发明可以在视频监控范围检测 是否有高空抛物事件发生并触发告警的同时， 能 够准确对目标进行重识别跟踪， 还原运动轨 迹。 权利要求书3页 说明书8页 附图5页 CN 115187919 A 2022.10.14 CN 115187919 A 1.一种基于多目标跟踪的高空抛物检测方法， 其特 征在于， 包括： 获取监控视频流的视频图像并进行 预处理， 得到样本图像； 将所述样本图像输入FairMOT模型进行特征提取训练、 目标检测训练和目标重识别训 练， 输出训练后的高空抛物 识别模型； 获取监控视频流的当前图像并进行 预处理， 得到待测图像； 将所述待测图像输入所述高空抛物识别模型进行图像识别处理， 输出所述待测图像的 高空抛物 识别结果； 当高空抛物 识别结果 为存在高空抛物时， 触发告警并记录高空抛物运动轨 迹。 2.根据权利要求1所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述将所 述样本图像输入 FairMOT模型进行特征提取训练、 目标检测训练和目标重识别训练， 输出训 练后的高空抛物 识别模型， 包括： 将所述样本图像输入所述FairMOT模型的ResNET34网络进行特征提取， 输出样本特征 图； 将所述样本特征图输入所述FairMOT模型的多平行头模块进行多次目标估计， 分别输 出所述样本特 征图中每一检测对象的中心位置、 识别框大小和中心偏移； 将所述样本特征图输入所述FairMOT模型的Re ‑ID分支模块进行对象Re ‑ID特征提取， 输出标签特征图， 其中所述标签特 征图中包 含每一检测对象的标签 类别； 判断所述标签特征图中是否有与目标对象对应的标签类别， 若有则判定存在高空抛物 情况。 3.根据权利要求2所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述将所 述样本特征图输入所述FairMOT模型的多平行头模块进行多 次目标估计， 分别输出所述样 本特征图中每一检测对象的中心位置、 识别框大小和中心偏移， 包括： 预先获取所述样本图像中的对象识别框的坐标点位集合 ， 其中 和 分别表示第i个对象识别框的左上点 位和右下点 位； 根据所述坐标点位集合计算每一所述对象识别框在所述样本图像上的中心点位置 ； 根据所述样本图像与样本特征图的尺寸比， 通过所述多平行头模块的第 一个平行头分 支计算每一所述对象识别框在所述样本特 征图的中心点 位置坐标 ； 按公式 计算所述对象识别框在所述样本特征图 上的中心点位置的热图响应， 得到含有每一所述对象识别框的中心位置的热头图M， 其中N 表示图像中的检测对象的数量， 表示标准差 。 4.根据权利要求3所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述将所权　利　要　求　书 1/3 页 2 CN 115187919 A 2述样本特征图输入所述FairMOT模型的多平行头模块进行多 次目标估计， 分别输出所述样 本特征图中每一检测对象的中心位置、 识别框大小和中心偏移， 还 包括： 将所述样本特征图输入所述多平行头模块的第 二个平行头分支， 利用所述对象识别 框 的坐标点 位集合进行识别框大小计算， 输出 所述检测对象的对象识别框大小 。 5.根据权利要求4所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述将所 述样本特征图输入所述FairMOT模型的多平行头模块进行多 次目标估计， 分别输出所述样 本特征图中每一检测对象的中心位置、 识别框大小和中心偏移， 还 包括： 将所述样本特征图输入所述多平行头模块的第 三个平行头分支， 利用所述对象识别 框 的坐标点 位集合进行识别框偏移量计算， 输出 所述检测对象的对象识别框偏移量 ， 其中 表示所述样本特征图中实际的中心点位置坐 标， 表示所述样本特 征图经所述多平行头模块计算预估的中心点 位置坐标。 6.根据权利要求3所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述将所 述样本特征图输入所述FairMOT模型的Re ‑ID分支模块进行对象Re ‑ID特征提取， 输出标签 特征图， 其中所述标签特 征图中包 含每一检测对象的标签 类别， 包括： 对所述热头图中的每一所述对象识别框的中心位置进行Re ‑ID特征提取， 得到对应的 特征向量 ； 对所述特征向量 进行全连接处理和softmax激活处理， 并映射至类分布向量 ， 其中k表示对象标签 类别， K表示类别数量。 7.根据权利要求2所述的基于多目标跟踪的高空抛物检测方法， 其特征在于， 所述当高 空抛物识别结果 为存在高空抛物时， 触发告警并记录高空抛物运动轨 迹， 包括： 将所述目标对象进行展示并触发告警； 根据所述高空抛物识别结果获取目标对象的标签信息在所述监控视频流中进行目标 跟踪， 获取 所述目标对象的运动轨 迹。 8.一种基于多目标跟踪的高空抛物检测装置， 其特 征在于， 包括： 第一预处 理单元， 用于获取监控视频流的视频图像并进行 预处理， 得到样本图像； 训练单元， 用于将所述样本图像输入FairMOT模型进行特征提取训练、 目标检测训练和 目标重识别训练， 输出训练后的高空抛物 识别模型； 第二预处 理单元， 用于获取监控视频流的当前图像并进行 预处理， 得到待测图像； 识别单元， 用于将所述待测图像输入所述高空抛物识别模型进行图像识别处理， 输出 所述待测图像的高空抛物 识别结果； 告警处理单元， 用于当高空抛物识别结果为存在高空抛物时， 触发告警并记录高空抛 物运动轨 迹。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7权　利　要　求　书 2/3 页 3 CN 115187919 A 3