(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210296764.4 (22)申请日 2022.03.25 (71)申请人 赵长贵 地址 518000 广东省深圳市南 山区海天二 路14号 (72)发明人 赵长贵　 (51)Int.Cl. G06T 7/246(2017.01) G06T 3/40(2006.01) G06N 20/00(2019.01) G06V 10/44(2022.01) (54)发明名称 消费级无 人机视频运动目标精准追 踪方法 (57)摘要 本申请面向无人机运动平台在基于关联锁 定追踪器的基础上在形变、 遮挡和尺度三个方面 进行改进： 一是提出基于决策感知的关联锁定追 踪算法,基于决策感知的追踪框架， 通过特征关 联选择、 特征决策感知、 决策感知权值计算， 在决 策层采用由粗到细进行融合， 用多特征描述目 标， 减少目标由于各种因素所致的形变而导致的 追踪漂移； 二是解决目标被遮挡后产生的追踪漂 移甚至追踪失败， 提出基于差异叠加检测的关联 锁定追踪方法,通过运动目标快速锁定， 基于差 异叠加检测的关联锁定目标追踪， 三是提出二维 目标鲁棒性尺度估算方法； 本申请无论是追踪准 确率还是成功率都有明显提升， 能够更加准确估 算出目标尺度， 提高追 踪精度和性能。 权利要求书6页 说明书19页 附图4页 CN 114627156 A 2022.06.14 CN 114627156 A 1.消费级无人机视频运动目标精准追踪方法， 其特征在于， 在基于关联锁定追踪器的 基础上在形变、 遮挡和尺度三个方面进 行改进： 第一， 提出基于决策感知的关联锁定追踪算 法,包括： 一是基于决策感知的追踪框架； 二是特征关联选择， 三是特征决策感知， 四是决策 感知权值计算； 第二， 提出基于差异叠加检测的关联锁定追踪方法,包括： 一是运动目标快 速锁定， 二是基于差异叠加检测的关联锁定目标追踪； 第三， 提出二维目标鲁棒性尺度估算 方法， 包括： 一是基于透视投影模型的尺度估算， 二是基于关联锁定的二 维尺度估算追踪框 架， 三是二 维尺度预测评估策略， 四是自适应搜寻窗口尺度选择， 五是尺度预测估算方法流 程； (1)针对追踪中出现的目标形变导致的漂移， 采用不同的特征分别进行追踪， 在决策层 进行融合， 得到最 终结果， 其中一种是构建两个关联滤波器， 分别采用具备目标结构信息的 HOG特征和具备目标颜色信息的CNs， 计算出追踪结果后,在决策层利用滤波器的最大响应 值决定各自对最终结果的权重， 还有一种是利用关联锁定 以及基于颜色直方图的追踪框 架,然后同样融合两者的结果得到最终追踪结果； (2)针对追踪中出现的目标遮挡问题， 提出一种基于差异叠加检测的关联锁定追踪方 法， 首先将岭回归中的结构风险函数换为正则化函数， 加入分量更好应对遮挡问题， 然后在 搜寻框内提取差异叠加特征并与原始样本进行叠加， 增大目标与周围背景之间的差别， 同 时排减循环矩阵的潜在风险,在样本更新上采用一种基于检测结果的办法， 在模型更新上 减少漂移， 采用非连续的更新方式， 应对 追踪过程中的目标遮挡问题； (3)针对追踪过程中出现的目标尺度变化问题， 提出一种二维目标鲁棒性尺度估算方 法， 首先利用传感器数据和拍摄相 机的内部参数获取目标 的粗略尺度估算,设计一个二维 的关联滤波器用来估算 目标尺度， 将目标的长和宽两个维度分别估算， 当目标发生形变和 尺度变换 的同时准确估算出目标在视野中的真实大小， 此外， 提出一种自适应搜寻窗口方 法， 根据目标在相邻两帧的位移改变搜寻框的大小， 避免目标运动过快而运动到搜寻窗口 之外； 在尺度目标 滤波器上对样本进行降采样， 降低计算数据量。 2.根据权利要求1所述消费级无人机视频运动目标精准追踪方法， 其特征在于， 基于决 策感知的追踪框架： 采用尽可能简单的模型和少量的参数达到最优追踪效果,设在第t幅图 像It上,追踪问题视为从备选区域 集合St中找到最可能(得分最高)的区域pt： 其中， T指的是将图像进行某种变换， f(T(It， p)； θ )表示图像It中矩形框p在模型参数为 θ 下的得分， 模型参数满足最小化损失函数： 其中,损失函数L( θ； χt)与之前图像和图像中目标的位置相关， 为整 个模型参数 空间， R( θ )和 λ是防止模 型太复杂而导致过拟合的正则化因子， 实现有效追踪转 化成选择函数f和L的问题； 目标初始化 时得到目标的位置和尺度信 息， 在备选图像序列中找到与目标最相似的区 域就是追踪目标， 判断两个信号是否关联就是度量两者之间的相似度， 在计算备选区域样 本与目标之间的相似度是将两者作关联运算， 损失函数选取计算两个 向量的距离， 追踪算权　利　要　求　书 1/6 页 2 CN 114627156 A 2法利用包含目标的正样本和全是背景的负样本,采用岭回归构建一个回归器来训练目标的 外观模型。 3.根据权利要求1所述消费级无人机视频运动目标精准追踪方法， 其特征在于， 特征关 联选择： 基于互补性特征， 对运动目标进 行多特征决策感知， 并根据每种特征对于追踪结果 的影响不同,设计一个框架进行融合 来获取更精准稳定的追踪效果； 其中， HOG特征选择采用将样本区域划分成若干子区域， 然后在每个区域提取32维特 征， 除去最后一维全部是0不考虑之外， 剩下31维特征， 纹理特征采用快速各向异性高斯滤 波器的RFS滤波器组,该 特征一共8个维度。 4.根据权利要求1所述消费级无人机视频运动目标精准追踪方法， 其特征在于， 特征 决 策感知： 采用不同的输入样 本， 训练两个滤波器， 其中一个输入的图像为目标框及周围一圈 背景， 包含空间上下文信息， 即大小为window_sz， 为更好差异叠加区分目标和背景， 选取 HOG特征， 此外为消除边界影响， 对提取出的特征加入余弦 窗函数处理； 另一个只包含目标， 输入的图像比本身的目标尺寸小,即大小为sz， 为使追踪器在目标发生较大形变时， 仍具备 较好的鲁棒性， 采用CNs特征； 前者加入背景信息， 扩大目标的搜寻区域， 后者只针对目标， 提高准确性； 两个滤波器在线更新模板， 追踪结果更加 准确， 采用多种 特征决策感知目标， 更多的保留目标信息并通过多手段进行目标追踪， 更好应对 追踪过程中的突发状况。 5.根据权利要求1所述消费级无人机视频运动目标精准追踪方法， 其特征在于， 决策感 知权值计算： 采用多特征感知的加 性模型， 在加性融合策略下， 将n种决策感知之后的最终 结果， 加性融合对 噪声不敏感， 增加追踪算法的鲁棒性， 根据滤波器响应值与目标位置,得 出最后的目标位置为： 其中， res1与res2为两个滤波器的最大响应值， p1与p2分别为最大响应值对应的目标的 位置； 采用HOG和CNs决策感知的算法流 程： 输入： 图像序列 目标初始位置p0； 输出： 目标在每帧图像的位置信息 流程一： 初始化， t＝1； 流程二： 采用I0和p0初始化追踪器Track1、 Track2； 流程三： for t＝1： T 流程四： 根据上一帧输出pt‑1计算当前搜寻子窗口； 流程五： 对于追踪器Track1， 采用HOG特征， 利用目标结构信息， 搜寻窗口包含 空间上下 文信息， 并采用汉宁窗， 进行窗口处 理； 流程六： 对于追踪器Track2， 采用CNs特征， 利用目标的全局颜色信息， 搜寻窗口为目标 本身， 不做窗口处 理； 流程七： 由追踪模型 得到两个追踪器的响应图； 流程八： 在响应图中找到最大响应值， 该值对应目标的最可能所在的位置； 流程九： 由多特 征感知的加性模型进行融合， 得到目标的最终追踪结果p0；权　利　要　求　书 2/6 页 3 CN 114627156 A 3