(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221019139 2.9 (22)申请日 2022.03.01 (71)申请人 深圳金三 立视频科技股份有限公司 地址 518000 广东省深圳市龙华区龙华 街 道清湖社区雪岗北路306号胜立工业 园J栋101- 5层整栋 (72)发明人 张宇　杨伟强　吴庆耀　舒欣　 刘东剑　梁浩　 (74)专利代理 机构 深圳市博锐专利事务所 44275 代理人 林栋 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) (54)发明名称 一种多目标跟踪方法及装置 (57)摘要 本发明公开一种多目标跟踪 方法及装置， 通 过对获取到的待处理图像以第一预设值进行下 采样操作， 使得特征图具有更大的特征尺寸， 同 时通过分别第一网络分支头解决特征图的前后 景分类任务和目标框坐标回归任务， 通过第二网 络分支头解决特征图的目标类别分类的任务， 采 用解耦的思想并结合尺寸更大的特征图， 有效的 提升了小目标检测的效果； 再通过第三网络分支 头提取特征图中的特征向量， 并将由第一网络分 支头和第二网络分支头输出的目标检测结果映 射至特征向量特征图， 实现对目标坐标特征向量 以及轨迹 特征向量的获取； 最后再通过坐标特征 向量与轨迹特征向量进行匹配得到目标检测框 和目标轨迹数据， 实现对视频中的多目标进行的 有效地检测 和跟踪。 权利要求书2页 说明书9页 附图4页 CN 114255434 A 2022.03.29 CN 114255434 A 1.一种多目标跟踪方法， 其特 征在于， 包括 步骤： 获取视频流内每一帧的图像， 得到待处 理图像； 对所述待处 理图像依次进行 下采样和上采样， 得到下采样率 为第一预设值的特 征图； 分别通过第 一网络分支头提取所述特征图的目标坐标， 通过第 二网络分支头对所述特 征图中的目标进行分类， 得到目标检测框中心坐标； 通过第三网络分支头提取 所述特征图的特 征向量， 得到特 征向量特 征图； 将所述目标检测框 中心坐标映射至所述特征向量特征图中， 得到每一目标检测框对应 的特征向量； 根据视频流内所有所述待处 理图像中的所有所述目标检测框得到第一目标轨 迹集合； 将所述目标检测框对应的特征向量与第 一目标轨迹集合进行匹配， 得到匹配成功的所 述目标检测框和目标轨 迹数据。 2.根据权利要求1所述的一种 多目标跟踪方法， 其特征在于， 所述根据视频流内所有所 述待处理图像中的所有所述目标检测框得到第一目标轨 迹集合之后包括： 对所述第一目标轨迹集合内的所有目标轨迹进行卡尔曼滤波计算， 预测所述目标轨迹 在下一帧图像中对应的所述目标检测框的状态； 所述将所述目标检测框对应的特征向量与第 一目标轨迹集合进行匹配， 得到匹配成功 的所述目标检测框和目标轨 迹数据包括： 根据所述目标轨迹在下一帧图像中对应的所述目标检测框的状态挑选出与之匹配的 所述目标检测框对应的特 征向量以及所述目标轨 迹的轨迹特征向量； 遍历所述待处 理图像后， 得到匹配成功的所述目标检测框和目标轨 迹数据。 3.根据权利要求2所述的一种 多目标跟踪方法， 其特征在于， 所述将所述目标检测框对 应的特征向量与第一目标轨迹集合进 行匹配， 得到匹配 成功的所述目标检测框和目标轨迹 数据包括： 计算所述目标检测框对应的特 征向量与所述轨 迹特征向量之间的余弦距离矩阵； 通过匈牙利算法 以及所述余弦距离矩阵对所述目标检测框与所述第一目标轨迹进行 匹配， 得到匹配成功的所述目标检测框和目标轨 迹数据。 4.根据权利要求1所述的一种 多目标跟踪方法， 其特征在于， 所述将所述目标检测框对 应的特征向量与第一目标轨迹集合进 行匹配， 得到匹配 成功的所述目标检测框和目标轨迹 数据之后包括： 获取匹配失败的所述目标检测框和目标轨 迹； 对所述匹配失败的所述目标检测框和目标轨 迹进行二次匹配。 5.根据权利要求4所述的一种 多目标跟踪方法， 其特征在于， 所述对所述匹配失败的所 述目标检测框和目标轨 迹进行二次匹配包括： 计算匹配失败的所述目标检测框和目标轨 迹的IOU距离矩阵； 通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行二次匹配， 得到二次匹配成功的所述目标检测框和目标轨 迹数据。 6.根据权利要求1所述的一种多目标跟踪方法， 其特 征在于， 设置有第一置信度阈值； 所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹 集合之前还 包括：权　利　要　求　书 1/2 页 2 CN 114255434 A 2以第一置信度阈值为筛选标准， 筛选出置信度高于所述第 一置信度阈值的所述目标检 测框以及目标检测框对应的特 征向量。 7.根据权利要求6所述的一种多目标跟踪方法， 其特 征在于， 设置有第二置信度阈值； 所述将所述目标检测框对应的特征向量与第 一目标轨迹集合进行匹配， 得到匹配成功 的所述目标检测框和目标轨 迹数据之后包括： 筛选出置信度低于所述第一置信度阈值且置信度高于所述第二置信度阈值的所述目 标检测框以及目标检测框对应的特 征向量； 计算挑选出的所述目标检测框和匹配失败的所述目标轨 迹的IOU距离矩阵； 通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行匹配， 得到 匹配成功的所述目标检测框和目标轨 迹数据。 8.根据权利要求6所述的一种 多目标跟踪方法， 其特征在于， 所述将所述目标检测框对 应的特征向量与第一目标轨迹集合进 行匹配， 得到匹配 成功的所述目标检测框和目标轨迹 数据之后包括： 判断匹配失败的所述目标检测框的置信度是否度高于所述第一置信度阈值， 若是， 则 为匹配失败的所述目标检测框初始化 一条轨迹并分配唯一 ID。 9.根据权利要求6所述的一种 多目标跟踪方法， 其特征在于， 所述将所述目标检测框对 应的特征向量与第一目标轨迹集合进 行匹配， 得到匹配 成功的所述目标检测框和目标轨迹 数据之后包括： 将匹配失败的所述目标轨 迹标记为丢失状态； 判断被标记为丢失状态的所述目标轨迹匹配失败的次数是否达到第一阈值， 若是， 则 删除被标记为丢失状态的所述目标轨 迹。 10.一种多目标跟踪终端， 包括存储器、 处理器及存储在存储器上并可在处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑9任意一 项所述的一种多目标跟踪方法中的各个步骤。权　利　要　求　书 2/2 页 3 CN 114255434 A 3