(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210296634.0 (22)申请日 2022.03.24 (71)申请人 龙港市添誉信息科技有限公司 地址 325800 浙江省温州市龙港市龙魁线 海下251号添誉信息科技有限公司 (72)发明人 梁徽耀　傅万乐　傅小强　陈诚　 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/50(2022.01) G06V 10/62(2022.01) G06K 9/62(2022.01) (54)发明名称 长时间跨度视频图像行人监测精准追踪方 法 (57)摘要 本申请针对行人检测与追踪问题， 采用结构 化动态背景自适应模型来实现动态学习过程， 克 服行人检测与追踪过程中常见的目标不规则运 动、 背景变化、 遮挡与消失等问题， 限定支持向量 的数目， 提高算法对计算资源的采用率： 在行人 检测方法上， 采用尺度搜索变换目标追踪算法, 解决目标可能会 出现的放大缩小问题,提高追踪 的精确性； 在行人追踪方法上， 将动态学习检测 模块替换为结构化动态背景自适应模 型， 改进算 法能够解决遮挡、 消失等问题， 展示了良好的性 能， 扩展到多尺度估算， 解决漂移问题； 在目标特 征提取方法上， 采用HOG扩展特征进行目标特征 提取， 能更好的提高追踪算法追踪精度， 在多个 领域具有重要作用和巨大应用价 值。 权利要求书5页 说明书16页 附图4页 CN 114663977 A 2022.06.24 CN 114663977 A 1.长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 一是将行人追踪视为一 个结构化动态背景自适应目标检测问题， 提出一个封闭形式的解决方案， 使模型以原始形 式快速更新， 计算模 型更新的步长； 二是采用非线性内核， 同时保持结构化动态背 景自适应 模型的线性性质， 将非线性内核与显式特征图匹配； 三是扩展追踪器与多尺度估算， 通过大 规模变化追踪提高性能； 具体包括： 长时间跨度行人监测精准追踪框架、 尺度搜索变换、 改进 的HOG扩展特征提 取方法、 结构化动态背景自适应核函数设置、 结构化动态背景自适应的最优化 算法； 第一， 在行人检测方法上， 采用改进的HOG扩展特征提取方法： 对目标行人相对于视频 画面大小的变化， 采用尺度搜索变换目标追踪算法,解决目标放大缩小问题,  准确检测出 目标位置及大小； 第二， 在行人追踪方法上， 基于长时间跨度 行人监测精准追踪框架， 将动态学习检测模 块替换为结构化动态背景自适应模型， 对行人进行追踪， 解决遮挡、 消失问题， 在线结构化 动态自适应学习方法解决样本较少的高维度和非线性问题， 根据上一帧的追踪结果 实时获 取数据来训练分类器， 将结构化动态背景自适应追踪算法扩展到多尺度估算， 解决漂移问 题； 第三， 在行人特征提取方法上， 改进HOG算法， 采用HOG扩展特征进行目标特征提取， HOG 扩展特征表征图像局部梯度方向和梯度强度分布特征， 在边缘具体位置未知的情况下， 边 缘方向的分布也能很好的表示行人目标的外形轮廓， 在出现目标物理上的几何变化和外部 环境的光学变化时仍具有良好的不变性。 2.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 长时 间跨度行人监测精准追踪框架： 由行人追踪、 动态学习、 自适应检测三个模块组成， 行人追 踪模块估算连续帧序列之间目标 的运动情况,同时针对追踪失败自适应检测， 当视频中的 行人消失或者出现遮挡时,就无法准确追踪目标， 此时通知自适应检测器重检测， 使得目标 能够再次被跟踪； 自适应检测模块由随机森林自适应检测器、 方差检测器和 最近邻检测器 共同级联组成， 实现对目标的精确检测， 行人追踪和自适应检测过程都通过在线动态学习 实时更新， 相互校正和补充， 应对行 人出现的场景中的各种突发情况。 3.根据权利要求2所述长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 本申 请提出结构化动态背景自适应追踪模型， 设置实时调节追踪模块和自适应检测模块的机 制， 实时采用上一帧的追踪结果， 迭代提取目标特征以更新追踪器， 同时采用自适应检测产 生的正样本数据和负样本数据实时评估检测器和追踪器的处理结果， 并及时校正， 避免错 误在后面的追踪过程中不断累积。 4.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 尺度 搜索变换： 采用尺度搜索目标追踪滤波器， 配合结构化动态背景自适应模型实现尺度搜索 变换， 尺度搜索目标追踪滤波器进行当前帧目标尺度的估算,获取上一帧图像中的目标框 的中心位置， 记作中心点， 重新计算尺度， 然后赋值到下一帧图像,完成尺度变化。 5.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 改进 的HOG扩展特征提取方法： 计算HOG扩展特征并从扩展的特征中选择有效的特征，  扩展HOG 扩展特征的方法用f(u,v)表示 坐标的像素强度(u,v)：权　利　要　求　书 1/5 页 2 CN 114663977 A 2                     式1 fu和fv表示u和v的组成图像梯度， 坐标(u,v)的梯度大小m(u.v)和取向θ(u,v)计算如式 2：                     式2 其中， 一是单元大小C： 包含图像像素信息， 由左上的指定位置(x,y)和宽w和高h确定;   二是块大小Rpq： 一个块是一组单元构成的一个矩形,归一化的直 方图在块中处理， 降低负面 的光照因素的影响， 它的位置和大小是分别由(x',y')和(w',h')定义,几个大小的块独立 使用,进行归一 化， p与q分别为横向和纵向单 元个数； 三是区间数量 l， 格网数量B； 通过格网数量B,  单元大小C,  块大小Rpq,区间数量l,坐标(u,v)处单元大小， 分别表示 矩形块的大小和区间的索引， 扩展HO G扩展特征 计算式：                         式3                      式4 块的中心像素位于单 元中心的像素， 这些 特征列举成一个特 征向量x； 本申请包括这些参数的所有扩展， 从高维特征选择有效的结果锁定行人位置， 实现了 高精度行 人自适应 检测率。 6.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法， 其特征在于， 结构 化动态背景自适应核函数设置： 在对图像进行前期处理后进行分析， 并在目标周围提取若 干个训练样本并标记其真实值， 以此来初始化模型， 然后采用样本进 行训练， 以获取最优分 界面和所需的模型参数， 当下一帧图像出现时， 从上一帧的估算目标位置出发， 在其附近一 定范围内搜索得到若干个样本数据， 用上一帧图像训练好的结构化动态背 景自适应模型来 对这些数据分类处理， 最终的目标估算位置由分类结果为目标的数据样本的加权求和确 定， 确定出目标位置后,重复更新分类器， 并更新其模型， 如此不断循环， 直至所有图像帧处 理完， 得到所有图像帧中的目标估算 位置,实现在视频序列中的目标追踪任务； 结构化动态背景自适应模型在线性可分的情形下寻找最优的分类面， 保证结构化风险 最小， 但当数据出现不可分的情形时,运用核函数,使得数据在高维空间也能处理， 分类器 的训练样本不会独立出现,是以内积的形式成对 出现,其数学描述为＜x,y>， 结构化动态背 景自适应模型的判定函数为：                 式5 其中， 预测函数 f的输出构成序列(x,y)， y为目标的变化值， L为目标函数， α 为拉格朗日 因子， w为法向量， b为约束临界值， g为判定系数， α(i=1,2,L,n)是以下二次优化问题的最优 解：权　利　要　求　书 2/5 页 3 CN 114663977 A 3