(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210419230.6 (22)申请日 2022.04.20 (71)申请人 江苏东大 金智信息系统有限公司 地址 210000 江苏省南京市江宁开发区将 军大道10 0号 (72)发明人 马小骏　贺安鹰　吕云松　朱永成　 (74)专利代理 机构 南京明杰知识产权代理事务 所(普通合伙) 32464 专利代理师 张文杰 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种监控视频中运动目标的自动标注方法 (57)摘要 本发明公开了一种监控视频中运动目标的 自动标注方法， 可帮助算法研究人员进行基于视 频的运动目标标注， 快速生成图像样本数据集； 本发明标注过程无监督， 是真正意义的运动目标 自动标注； 标注基于多目标跟踪算法设计， 自动 检测出现在连续多个视频中的同一运动目标， 并 赋予相同的标识ID， 有效利用了运动目标在连续 视频帧之间的时空关联特性， 准确率高； 对目标 遮挡的情况设计了自适应权重的目标匹配算法， 有效提高了目标匹配成功率及准确性； 可使用预 先训练好的卷积神经网络对视频帧进行目标检 测， 可计算检测目标与跟踪目标之间的特征向量 的相似度， 以便采集同一 运动目标的不同姿态。 权利要求书4页 说明书9页 附图4页 CN 114693742 A 2022.07.01 CN 114693742 A 1.一种监控视频中运动目标的自动标注方法， 其特 征在于： 包括以下步骤： S1、 输入第一个视频帧， 记录该视频帧的时间戳t1； S2、 用预先训练好的深度卷积神经网络对视频帧进行目标检测； S3、 把检测到的目标放入跟踪队列Q， 跟踪队列Q初始为空， 跟踪队列Q中的每个目标称 为跟踪目标； S4、 对当前视频帧内的目标进行 标注； S5、 输入下一个视频帧， 并记录该视频帧的时间戳t 2； S6、 用预先训练好的卷积神经网络对视频帧进行目标检测， 检测到的目标称为检测目 标； S7、 把t2时刻的视频帧内的每个检测目标与跟踪队列Q中的每个跟踪目标进行两两匹 配； S8、 根据匹配结果更新跟踪队列； S9、 对当前视频帧内的目标进行 标注； S10、 检查视频 是否结束， 如果未 结束则转 步骤S5， 否则流 程结束。 2.根据权利要求1所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 在步 骤S2中， 采用YoloV5卷积神经网络对输入的视频帧进行 目标检测， 系统为每个检测出的目 标设定以下六个属性： 目标ID、 目标类别(行人)、 目标初始时间、 目标更新时间、 目标包围矩 形框的位置坐标、 目标特征向量； 其中目标初始 时间为目标第一次出现时所在的视频帧的 时间戳， 目标更新时间为 目标再次出现时所在的视频帧的时间戳， 目标包围矩形框的位置 坐标为该矩形框的左上角和右下角相对于屏幕左上角的像素在行、 列方向上 的偏移值， 目 标特征向量为描述该目标的图像特 征， 不同目标的特 征向量不同。 对于每个目标， 其各属性赋值如下： 目标ID设置为空； 目标初始时间设置为当前视频帧的时间戳t1； 目标更新时间设置为当前视频帧的时间戳t1； 目标包围矩形框的位置坐标设置为(left， top,right,bottom)， 其中(left， top)为包 围矩形框的左上角位置坐标， (right,bot tom)为包围矩形框的右下角位置坐标； 目标特征向量设置为， 应用另一预先训练好的卷积神经网络模型对矩形包围框内的目 标进行特征提取所得到归一 化的128维特 征向量。 3.根据权利要求1所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 在步 骤S4中， 所 执行的操作为： 1)为跟踪队列Q中的每一个目标设置全局唯一的目标ID； 2)保存当前的视频帧图像以及跟踪队列Q中的所有跟踪目标。 显然， 当前视频帧内的所 有目标均已在跟踪队列中， 并且跟踪队列Q里的每个目标所具有的属性： 目标ID以及目标包 围矩形框的位置坐标， 即是对当前视频帧的一个目标 标注。 4.根据权利要求1所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 在步 骤S6中， 对于每 个检测目标， 其六个属性赋值如下： 目标ID设置为空； 目标初始时间设置为当前视频帧的时间戳t 2；权　利　要　求　书 1/4 页 2 CN 114693742 A 2目标更新时间设置为当前视频帧的时间戳t 2； 目标包围矩形框的位置坐标设置为(left， top,right,bottom)， 其中(left， top)为包 围矩形框的左上角位置坐标， (right,bot tom)为包围矩形框的右下角位置坐标； 目标特征向量设置为， 应用另一预先训练好的卷积神经网络模型对矩形包围框内的目 标进行特征提取所得到归一 化的128维特 征向量。 5.根据权利要求1所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 在步 骤S7中， 匹配所做的操作为计算检测目标与跟踪目标之间的特征向量的相似度， 采用余弦 距离表征相似度； 假设跟踪目标和检测目标分别用ID1、 ID2表 示， 则两者特征向量的余弦距 离为： 公式(1)中， Dist(ID2， ID1)表示ID2和ID1的目标特征向量之间的余弦距离， rID1为跟踪 目标ID1应用卷积神 经网络获得的归一化 的128维特征向量， 为检测目标ID2应用卷积 神经网络获得的归一 化的128维特 征向量经转置得到的向量。 方案设置特征向量距离阈值Dist_Threshold， Dist_Threshold满足： 0≤Dist_ Threshold≤2； 本发明中Dist _Threshold默认值 分别为0.1， 在实际使用过程中可以根据需 要改变此阈值， 从而调节目标匹配的精度。 对于检测目标ID2与跟踪目标ID1， 判断规则为： 1)如果Dist(ID2， ID1)≤Dist_Threshold， 则认为检测目标ID2与跟踪目标ID1匹配成 功； 2)如果Dist(ID2， ID1)＞Dist_Threshold， 则认为检测目标ID2与跟踪目标ID1匹配失 败。 如果一个检测目标与多个跟踪目标均能匹配成功， 则 选取余弦距离最小的跟踪目标作 为最佳匹配； 把匹配成功的检测目标放入匹配成功队列Q1， 并把它与最佳匹配成功的跟踪 目标的目标ID相关联。 如果一个检测目标与多个跟踪目标均为匹配失败， 则 选取余弦距离最小的跟踪目标作 为最佳匹配失败目标； 把匹配失败的检测目标放入匹配失败队列Q2， 并把它与最佳匹配失 败的跟踪目标的目标ID相关联。 6.根据权利要求5所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 对于 匹配失败的检测目标， 通常属于下列两种情况之一： 情况一， 该目标为在t 2时刻新进入画面的运动目标。 情况二， 由于画面原因， 如： 目标被遮挡或者光线、 目标姿态发生变化等， 导致在t1时刻 和t2时刻均出现在画面内的同一 运动目标匹配失败。 7.根据权利要求6所述的一种监控视频中运动目标的自动标注方法， 其特征在于： 对于 匹配失败的检测目标， 方案将运用如下规则： 在监控画面的左右两侧各设定一个进入区域， 如果匹配失败的检测目标的位置处于进 入区域， 则属于情况一， 把该检测目标归为新增运动目标； 如果该检测目标的位置处于非进 入区域， 则属于情况二。 对于属于情况二的检测目标， 我们计算检测目标ID2与 最佳匹配失败目标ID1之间的马权　利　要　求　书 2/4 页 3 CN 114693742 A 3