(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211108768.1 (22)申请日 2022.09.13 (65)同一申请的已公布的文献号 申请公布号 CN 115188081 A (43)申请公布日 2022.10.14 (73)专利权人 北京航空航天大 学 地址 100190 北京市海淀区学院路37号 (72)发明人 李波　高渝路　刘偲　汤宗衡　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06V 10/25(2022.01)G06V 10/62(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) (56)对比文件 CN 111460926 A,2020.07.28 JP 2007134913 A,20 07.05.31 CN 110688987 A,2020.01.14 CN 111060924 A,2020.04.24 CN 114140822 A,2022.03.04 CN 111639570 A,2020.09.08 CN 113554682 A,2021.10.26 惠冠程等.基于视频行人重识别和时空特 征 融合的跟踪算法. 《激光与光电子学进 展》 .2022, 第59卷(第12期),全 文. 审查员 叶晗 (54)发明名称 一种面向复杂场景的检测跟踪一体化方法 (57)摘要 本发明公开了一种面向复杂场景的检测跟 踪一体化方法， 首先构建检测跟踪深度模型， 包 括检测模块和身份特征提取模块， 其次使用不同 场景的数据进行训练， 得到模型后， 对输入图片 进行目标检测并提取对应的目标身份特征； 然 后， 利用背景建模算法提取图像运动信息； 接着， 设计检测跟踪后处理算法， 融合图像运动信息， 得到目标跟踪结果； 最后， 基于目标跟踪轨迹预 测对下一帧的检测结果进行修正。 本发明所提出 的面向复杂场景的检测跟踪一体化方法解决了 监控场景下行人目标动态变化造成的检测跟踪 困难的问题， 有效提高了行 人检测跟踪精度。 权利要求书1页 说明书5页 附图1页 CN 115188081 B 2022.12.02 CN 115188081 B 1.一种面向复杂场景的检测跟踪一体化方法， 其特 征在于， 具体步骤如下： 步骤1： 选取行人多目标检测跟踪数据集和通用检测模型， 增加身份特征提取模块， 构 建检测跟踪模型并进 行训练； 采用训练后的检测跟踪模型对行人多目标检测跟踪 数据集中 的所有图片， 提取 行人检测结果和对应的行 人身份特 征； 步骤2： 利用背景建模算法提取 所有图片中图像的运动信息； 步骤3： 利用步骤2中提取到的运动信 息， 对检测结果进行修正； 设计检测跟踪后处理算 法， 利用修 正后的行 人检测结果和步骤1中得到的对应的行 人身份特 征得到跟踪轨 迹结果； 步骤4： 构建行人检测跟踪算法： 利用步骤3得到的跟踪轨迹结果对下一帧的检测结果 进行修正， 改进目标检测结果， 后续将继续用于目标跟踪； 步骤5： 根据所述步骤4的行人检测跟踪算法， 对需要检测的视频流中行人进行在线检 测跟踪； 所述步骤1， 包括如下步骤： 步骤11： 选取行人多目标检测跟踪数据集， 选用主流单阶段检测模型； 步骤12： 根据所述步骤11中的检测模型， 增加身份特征提取模块， 采用分类损失对身份 特征模型进行监 督， 构建检测跟踪模型并进行训练； 步骤13： 根据所述步骤12训练的检测跟踪模型， 对所述行人多目标跟踪数据集中的所 有图像同时进 行检测框预测和身份特征预测； 获得的所述行人多目标跟踪图像中的行人检 测结果和对应的行人身份特征； 选取行人检测结果中心 点附近的行人身份特征作为对应的 行人身份特 征； 得到行 人目标框和对应行 人身份特 征； 所述步骤2， 包括如下步骤： 步骤21： 对选取的输入图像， 进行缩放， 降低图像分辨 率； 步骤22： 根据步骤21中缩放的图像， 利用GMM高斯混合模型， 初始化参数， 构建起模型， 区分出前景和背景区域， 从而判断运动目标； 步骤23： 根据步骤22中检测出来运动目标的位置 映射到原始图像中， 获得运动目标在 原始图像中的区域； 所述步骤3， 包括如下步骤： 步骤31： 从所述步骤2中获得运动区域， 利用运动区域对步骤1获得的行人多目标跟踪 图像中的行 人检测结果进行筛 选； 步骤32： 选择基于deepsort的多 目标跟踪后处理算法， 从所述步骤31获得的行人多 目 标跟踪图像中的行人检测结果， 结合所述步骤1中对应的行人身份特征， 构建多级后处理流 程， 进行检测跟踪后处 理， 得到跟踪轨 迹结果； 所述步骤4， 包括如下步骤： 步骤41： 从所述步骤32获得跟踪历史轨迹， 基于历史轨迹预测目标序列在当前帧出现 的位置， 利用该位置修 正范围内目标检测结果， 提升范围内检测结果置信度； 步骤42： 根据步骤41修改后的置信度， 重新确定当前帧检测结果， 改进行人目标检测结 果， 后续结果将用于目标跟踪。权　利　要　求　书 1/1 页 2 CN 115188081 B 2一种面向复杂场景的检测跟踪一体 化方法 技术领域 [0001]本发明涉及计算机视觉中的行人检测和行人跟踪技术领域， 特别是针对目标动态 变化等复杂场景下的行人检测和跟踪 领域， 特别涉及一种面向复杂场景的检测跟踪一体化 方法。 背景技术 [0002]随着深度学习技术的不断突破， 各项人工智能技术最终落地并改善人们的生活。 视频监控中行人检测与跟踪一直是公共安全领域的核心问题之一， 其在案件侦破、 治安态 势预警、 大规模群体事件感知和预防等方面发挥着不可替代的作用。 然而由于视频监控数 据量巨大、 真实场景复杂， 行人动态变化等， 单纯依靠人力识别跟踪跨镜头下的行人效率低 下， 且会消耗大量的人力财力， 而现有的深度学习算法鉴于以上不利因素， 检测跟踪效果不 理想， 也不能较好 地满足行 人检测跟踪任务的需要。 [0003]行人检测就是检测出一个视频某一帧中目标人物的位置。 行人跟踪是给定视频中 第一帧目标人物以及它的位置， 然后利用目标的特征信息跟踪这个目标， 并预测他的轨迹， 如果出现一些遮挡， 也可以根据轨迹来跟踪这个目标。 当前深度学习技术主要基于单阶段、 两阶段的检测器提取目标 的特征信息， 通过相似度计算， 对目标帧内的检测对 象进行排序 和匹配， 从而得到行人在帧之间的连续变化。 但当目标动态变化时， 比如遮挡、 光线变化、 姿 态变化、 相似目标干扰等会导致跟踪轨迹预测 不准和检测器精度不高， 从而出现检测跟踪 错误的情况。 [0004]行人检测跟踪最近几年虽然取得较大进步， 但精度仍然无法达到令人满意程度， 主要存在跟踪过程目标错误， 行人动态变化导致外观特征差异， 检测器精度弱， 效果不理想 等问题， 严重阻碍 了行人检测和行人跟踪再识别算法性能的提升 。 [0005]因此， 如何针对动态变化的行人目标提高检测精度和跟踪准度， 是本领域技术人 员亟需解决的问题。 发明内容 [0006]有鉴于此， 本发明公开了一种面向复杂场景的检测跟踪一体化方法， 解决了监控 场景下行人目标动态变化造成的检测跟踪困难的问题， 通过检测和跟踪相 辅相成， 来提高 行人检测跟踪的精度， 精准识别和描绘行 人运动轨 迹。 [0007]为了实现上述目的， 本发明采用如下技 术方案： [0008]一种面向复杂场景的检测跟踪一体化方法， 包括如下步骤： [0009]步骤1： 选取行人多目标检测跟踪数据集和通用检测模型， 增加身份特征提取模 块， 构建检测跟踪模型并进行训练； 采用训练后的检测跟踪模型对行人多目标检测跟踪数 据集中的所有图片， 提取 行人检测结果和对应的行 人身份特 征； [0010]步骤2： 利用背景建模算法提取 所有图片中图像的运动信息； [0011]步骤3： 利用步骤2中提取到的运动信息， 对检测结果进行修正； 设计检测跟踪后处说　明　书 1/5 页 3 CN 115188081 B 3