(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293648.3 (22)申请日 2022.10.21 (71)申请人 山东中维世纪科技股份有限公司 地址 250101 山东省济南市济南市高新区 新泺大街1166号 (72)发明人 邢新智　姚琪　张文全　韩明秋　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 张贵宾 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/72(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于多维度 序列特征的目标识别方法 (57)摘要 本发明提供了一基于多维度序列特征的目 标识别方法， 该方法首先从视频源获取连续的视 频帧图； 然后使用 深度学习的目标检测算法， 检 测获取预选目标在当前帧的具体位置； 新检测的 目标直接创建跟踪器N； 其次， 在跟踪过程中， 扣 取归一化感兴趣区域 （ROI） ， 使用CLIP网络提取 该ROI下的图片， 以及提取人工预先用于正负样 本的描述类文字的文本特征， 并更新该目标跟踪 器N中图片文本的特征序列， 处理后生成图像动 态变化序列特征图， 将动态和静态的特征序列缓 存到跟踪器N中； 最后通过举手表决的综合判断 法方式， 输出识别结果。 本发明实现了目标的识 别， 解决识别过程中出现因为少样本、 难样本等 问题， 出现大量的误检问题和漏检问题， 提升优 化目标的准确率。 权利要求书2页 说明书4页 附图2页 CN 115424185 A 2022.12.02 CN 115424185 A 1.一种基于多维度 序列特征的目标识别方法， 其特 征在于： 该 方法包括以下步骤： 步骤1， 从视频源解码后获取视频帧， 然后使用单阶段的Yolov5目标检测算法， 在当前 帧图中检测， 并获取 预选目标 具体位置， 得到目标的标签和坐标框； 步骤2， 利用步骤1得到的新检测的目标直接创建跟踪器N， 如果是已跟踪 的目标， 更新 跟踪器N， 对于该目标进行持续跟踪， 直到目标消失在帧图之后的3s之后， 结束跟踪； 步骤3， 在跟踪过程中， 从预选的目标位置， 扣取归一化感兴趣区域 （ROI） ， 确保前后帧 的ROI尺寸是一 致的； 步骤4， 使用CLIP网络提取步骤3得到的ROI下的图片特征， 以及提取人工预先用于正负 样本的描述类文字的文本特 征， 并更新该目标跟踪器N中图片文本的特 征序列； 步骤5， 获取当前帧的ROI区域， 并缓存当前ROI的图像到跟踪器中， 同时与跟踪器N 中上 一帧缓存的图像进行比较， 计算得到帧间的差值变化， 生成图像动态变化序列特 征图； 步骤6， 将动态的变化度量值和静态的识别结果缓存到跟踪器N中， 一旦目标跟踪丢失， 超过3s， 认为目标已经离开， 从该跟踪器N中， 获取动态、 静态序列， 送入一个综合判断器， 通 过集成综合判断法方式， 输出识别结果； 同时删除该跟踪器N的数据。 2.根据权利要求1所述的一种基于多维度序列特征的目标识别方法， 其特征在于： 所述 步骤2中， 使用SORT算法跟踪目标， 根据步骤1得到的目标的坐标信息， 与已经创建的跟踪器 中的位置坐标计算IoU （交并集） ， 如果交并集大于0.3， 认为新检测的目标与已跟踪的目标 是同一个目标， 用现有的检测目标信息， 更新到跟踪器N中。 3.根据权利要求1所述的一种基于多维度序列特征的目标识别方法， 其特征在于： 所述 步骤3中， 扣取归一化 感兴趣区域 （ROI） 具体步骤如下： 取检测目标位置框的最大边， 以及目 标的中心位置， 重新得到ROI， 中心点不变， 边长为目标框最大边的2倍， 外扩得到一个正方 形的ROI区域， 再resize到2 24x224， 统一尺寸。 4.根据权利要求3所述的一种基于多维度序列特征的目标识别方法， 其特征在于： 如果 外扩时出现超过帧图边界， 超出的部分用白色来 填充。 5.根据权利要求1所述的一种基于多维度序列特征的目标识别方法， 其特征在于： 所述 步骤4中， CLIP网络由文本特征提取网络和图像特征提取网络组成， 前者用来表征目标标签 文本说明的特 征， 后者表征目标图像的特 征。 6.根据权利要求5所述的一种基于多维度序列特征的目标识别方法， 其特征在于： 使用 CLIP网络从归一化后的目标提取图像特征， 同时根据实际场景， 用于描述正样本、 few ‑ shot、 zero ‑shot的负样本的文本描述， 使用CLIP网络提取这些文本描述类的文本特征， 然 后计算图像特征与每个类之间的相似度， 并使用softmax归一化相似度矩阵， 得到概率分 布， 取最大值作为分类的标签， 将识别的结果， 并更新该目标跟踪器N中图片文本识别序列。 7.根据权利要求1述的一种基于多维度序列 特征的目标识别方法， 其特征在于： 所述步 骤5中， 计算得到帧间的差值变化的步骤如下： 先计算ROI区域的灰度， 再使用Sobel计算梯 度， 将梯度图与上一帧的梯度图， 直接相减， 通过最小阈值法， 将低于阈值的相似点直接置 于0， 然后计算差异图的均值， 得到当前帧与上一帧的之间的变化度量 值。 8.根据权利要求1述的一种基于多维度序列 特征的目标识别方法， 其特征在于： 所述步 骤6中， 计算识别结果方法如下： S1:将序列的动态变化 量， 计算标准差， 用于总体描述该序列的动态变化M权　利　要　求　书 1/2 页 2 CN 115424185 A 2S2:识别结果序列， 通过举 手表决方式， 票数最多的， 为目标识别结果:  R S3:根据实际识别的目标动态特 征， 得到动态特 征的阈值X，  M>X， 对外输出识别结果R。权　利　要　求　书 2/2 页 3 CN 115424185 A 3