(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210856428.0 (22)申请日 2022.07.21 (65)同一申请的已公布的文献号 申请公布号 CN 114998999 A (43)申请公布日 2022.09.02 (73)专利权人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 专利权人 浙江工商大 学 (72)发明人 张文广　徐晓刚　虞舒敏　曹卫强　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/22(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 110135314 A,2019.08.16 CN 111767847 A,2020.10.13 CN 110349187 A,2019.10.18 CN 111797738 A,2020.10.20 CN 114677633 A,2022.06.28 US 20202023 66 A1,2020.0 6.25 US 2015317797 A1,2015.1 1.05 任珈民等.基 于YOLOv3与卡尔曼 滤波的多目 标跟踪算法. 《计算机 应用与软件》 .2020,(第0 5 期), Zhile Ren 等.A Fusi on Approach for Multi-Frame Optical Fl ow Estimati on. 《2019 IEEE Winter Conference o n Applications of Computer Visi on (WACV)》 .2019, (续) 审查员 任燕 (54)发明名称 一种基于多帧输入与轨迹平滑的多目标跟 踪方法和装置 (57)摘要 本发明公开一种基于多帧输入与轨迹平滑 的多目标跟踪方法和装置， 方法包括： 步骤S1： 获 取行人视频数据集并进行行人坐标以及行人轨 迹的标注， 并生成片段型轨迹 数据； 步骤S2： 构造 并训练基于多帧输入与轨迹平滑的行人多目标 跟踪网络模型； 步骤S3： 基于训练得到的行人多 目标跟踪网络模 型进行推理， 获取当前帧行人目 标检测与特征提取结果 以及其前几帧的行人目 标检测与特征提取结果， 即获取得到多帧图像目 标的坐标及外观特征； 步骤S4： 利用多帧图像目 标的坐标及外观特征进行最短特征距离匹配， 并利用轨迹曲率平滑函数进行轨迹平滑， 最终得到 当前帧的轨迹。 本发明具有耗时低， 且对同类目 标的遮挡问题鲁棒 性较好的优点。 [转续页] 权利要求书3页 说明书7页 附图3页 CN 114998999 B 2022.12.06 CN 114998999 B (56)对比文件 Qing Wen 等.Aerial ima ge object detection based o n improved YOLOv5. 《202 2 2nd Internati onal Conference o n Consumer Electronics and Computer Engi neering (ICCECE)》 .2022,2/2 页 2[接上页] CN 114998999 B1.一种基于多帧输入与轨 迹平滑的多目标跟踪方法， 其特 征在于， 包括以下步骤： 步骤S1： 获取行人视频数据集并进行行人坐标以及行人轨迹的标注， 并生成片段型轨 迹数据； 步骤S2： 构造并训练基于多帧输入与轨 迹平滑的行人多目标跟踪网络模型； 具体的， 所述行人多目标跟踪网络模型的训练是采用所述片段型轨迹数据进行训练， 将片段型轨迹数据的图像序列帧同时送入行人多目标跟踪网络模型进 行推理， 计算得到目 标的坐标即目标框， 以及外观特征， 并基于所述 目标的坐标与外观特征采用最短特征距离 与轨迹曲率平滑函数进行匹配， 同时利用总的损失函数求梯度进 行行人多目标跟踪网络模 型的后向推理； 所述总的损 失函数是联合轨迹特征距离与拟合的损 失函数与轨迹检测的平均L1损 失 函数加权平均的损失函数 ， 表示联合轨迹特征距离与拟合 的损失函数， 表示轨迹片段目标检测的平均L1损失函数； 所述联合轨迹特征距离与拟合的损失函数由轨迹特征距离损失函数与轨迹曲率平滑 损失函数加权平均得到， 对行人多目标跟踪网络模型的特征提取与轨迹匹配进行训练学 习； 所述轨迹特征距离损失函数表示 为： ； 其中， ， i∈[1， 2m+1]， 表示第i个图像帧中的目标框 与第i 个图像帧真实标签目标框 的特征距离， 采用特征向量夹角的余 弦函数表示， 2m+1为轨迹 片段的图像序列帧个数； 所述轨迹曲率平 滑损失函数表示 为： ， 其中， x表示在轨迹片段中形成的目标轨迹个数， 为预测的第j个目标的轨迹在2m+1 帧 图 像的 平 均 轨 迹曲 率 ， 为 对 应的 真 实 标 签 轨 迹的 曲 率 ， j ∈ [ 1 ， x ] ,   为预测的目标轨迹与真实标签轨迹的平均轨迹曲率差值； 所述匹配具 体为预测目标轨迹与真实标签轨迹的匹配， 采用曲线前端、 中端、 后端IOU匹配的规则进行 匹配；权　利　要　求　书 1/3 页 2 CN 114998999 B 3