(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058097.2 (22)申请日 2022.08.31 (71)申请人 珠海数字动力科技股份有限公司 地址 519000 广东省珠海市香洲区大 学路 101号清华科技园4栋401-40 5 (72)发明人 刘振锋　 (74)专利代理 机构 广州市时代知识产权代理事 务所(普通 合伙) 44438 专利代理师 林镇鑫 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多目标跟踪的人流 量统计方法 (57)摘要 本发明公开了一种基于多目标跟踪的人流 量统计方法， 该人流量统计方法包括： 获取当前 场景的视频， 并在每个视频帧中划出分界线； 利 用训练好的多目标跟踪器对视频中的行人进行 定位检测以及特征提取， 多目标跟踪器输出行人 边界框的坐标以及行人的特征信息； 基于行人的 特征信息和边界框进行级联， 以实现行人匹配； 根据匹配成功后行人边界框的下边线的坐标生 成行人的轨迹； 判断行人的轨迹是否穿越分界 线， 若是， 判断行人的穿越方向， 若穿越方向为 进， 则人数加一； 若穿越方向为出， 人数减一， 实 现人流量的统计。 本发明基于行人的特征信息进 行级联， 以实现行人匹配， 使得在目标匹配的时 候提高了性能， 减少了因为目标重叠而造成的误 差。 权利要求书2页 说明书4页 附图2页 CN 115410155 A 2022.11.29 CN 115410155 A 1.一种基于多目标跟踪的人流 量统计方法， 其特 征在于， 包括： S1， 获取当前场景的视频， 并在每 个视频帧中划出分界线； S2， 利用训练好的多目标跟踪器对视频中的行人进行定位检测以及特征提取， 多目标 跟踪器输出 行人边界框的坐标以及行 人的特征信息； S3， 基于行 人的特征信息和边界框进行级联， 以实现行 人匹配； S4， 根据匹配成功后行 人边界框的下边线的坐标生成行 人的轨迹； S5， 判断行 人的轨迹是否穿越分界线， 若是， 则执 行步骤S6； S6， 判断行人的穿越方向， 若穿越方向为进， 则人数加一； 若穿越方向为出， 人数减一， 实现人流 量的统计。 2.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 步骤S3包 括： S31， 计算当前帧的行人的特征信息和上一帧的行人历史特征信息的余弦距离； 若所述 余弦距离小于第一预设阈值， 则将当前帧的行人边界框与上一帧中的行人边界框进行关 联； 若所述 余弦距离大于第一预设阈值， 则执 行步骤S32； S32， 利用卡尔曼 滤波器通过 上一帧的边界框坐标 预测出当前帧的边界框坐标； S33， 计算由多目标跟踪器检测出的当前帧的边界框以及所述预测出的当前帧的边界 框坐标的交并比IoU； 若交并比IoU大于第二预设阈值， 则将检测出的当前帧的边界框与上 一帧的行 人边界框进行关联； S34， 重复执 行步骤S31 ‑步骤S33， 直至所有行 人都关联完毕， 完成行 人匹配。 3.根据权利要求2所述的基于多目标跟踪的人流量统计方法， 其特征在于， 步骤S33之 后包括： 若交并比IoU小于第二预设阈值， 则判断检测出的当前帧的边界框的置信度是否大 于预设的新 目标阈值； 若是， 则创建一个新 目标行人， 其中， 置信度为多目标跟踪器输出 的 特征图经过sigmoid函数的输出概 率。 4.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 步骤S6包 括： 计算行人的轨迹向量v1与划出的分界线v2的夹角 θ′； 若所述夹角 θ ′小于180度， 则判断穿 越方向为出； 若所述夹角 θ ′大于180度， 则穿越方向为进， 其中， 行人的轨迹向量v1为行人穿 越分界线时， 两帧或者多帧的坐标点连成的线。 5.根据权利要求4所述的基于多目标跟踪的人流量统计方法， 其特征在于， 夹角 θ ′的计 算公式为： 行人的轨迹向量v1与分界线v2的叉积v1×v2＜0， 则θ′＝arccosθ； 如果v1×v2＞0， 则θ′ ＝360° ‑arccosθ 。 6.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 步骤S4包 括： 根据匹配成功后行人边界框坐标得到行人边界框的下边线中点坐标， 根据每一帧的下 边线中点 坐标连线， 组成行 人的轨迹； 其中， 行人边界框坐标为[x， y， w， h]， 行人边界框的下边线中点坐标为(x+w/2， y)； x， y权　利　要　求　书 1/2 页 2 CN 115410155 A 2为边界框的左下角坐标， w和h分别为 边界框的宽和高。 7.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 进行行人匹 配前， 判断当前目标是否因为遮挡或者离开监控画面而丢失轨迹超过预设帧数， 则丢弃掉 当前目标的边界框 。 8.根据权利要求3所述的基于多目标跟踪的人流量统计方法， 其特征在于， 若检测出的 当前帧的边界框的置信度小于预设的新目标阈值， 则丢弃当前的行 人边界框 。 9.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 多目标跟踪 器为轻量化模 型yolov5s的21层结构， 轻量化模型yolov5s的21层结构分别连接一个检测头 分支及一个特 征提取头分支， 其中提取的特 征维度设置为64。 10.根据权利要求1所述的基于多目标跟踪的人流量统计方法， 其特征在于， 多目标跟 踪器在训练过程中采用Adam优化器， 优化器超参数beta1、 beta2分别为0.99和0.999； 设置 初始学习 率为1e‑4， 在训练集上使用批大小设置为16训练30个轮次， 在最后的10个轮次学 习率衰减为1e ‑5。权　利　要　求　书 2/2 页 3 CN 115410155 A 3