(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164812.0 (22)申请日 2022.09.23 (71)申请人 北京理工大 学重庆创新中心 地址 401120 重庆市渝北区龙兴镇曙光路9 号9幢 (72)发明人 许廷发　黄博　李佳男　陈俊杰　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 卢昱莎 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空注意力知识的长时反无人机 视觉跟踪方法 (57)摘要 本发明提供了一种基于时空注意力知识的 长时反无人机视觉跟踪方法， 包括S1： 获取无人 机红外视频序列， 并对视频帧图像进行特征提 取； S2： 构建跟踪网络模型并进行训练， 将提取的 特征图像输入到训练好的跟踪网络模 型中， 输出 预测位置和尺度。 跟踪网络模型基于孪生网络构 建了交叉相关RPN相似学学习RCNN两阶段的重检 测架构， 引入了空间位置一致性函数和监督前景 检测器， 同时利用三联体训练机制， 将时空注意 力知识纳入跟踪器的学习过程中， 训练跟踪网络 模型， 实现了针对红外视频序列中无人机目标的 位置估计和尺度预测。 权利要求书2页 说明书7页 附图1页 CN 115457417 A 2022.12.09 CN 115457417 A 1.一种基于时空注意力知识的长时反无 人机视觉跟踪方法， 其特 征在于， 包括： S1： 获取无人机红外 视频序列， 并对视频帧图像进行 特征提取； S2： 构建跟踪网络模型并进行训练， 将提取的特征图像输入到训练好的跟踪网络模型 中， 输出预测位置和尺度； 所述跟踪网络模型基于孪生网络构建， 包括模板分支和至少一个搜索分支； 特征图像 分别输入到模板分支和搜索分支中； 其中， 所述模板分支在第一帧中被初始化， 然后在后续帧中保持固定； 所述搜索 分支不断输入每一帧特征图像， 并将模板分支信 息编码到候选提议中进行重 检测。 2.根据权利要求1所述的长时反无人机视觉跟踪方法， 其特征在于， 在对视频帧图像进 行特征提取中， 采用Sw in Transformer作为特 征提取器。 3.根据权利要求1所述的长时反无人机视觉跟踪方法， 其特征在于， 所述重检测， 包括 两个阶段， 第一个阶段为交叉相关RPN重检测， 采用交叉相关RPN网络产生的大量锚框 (Anchor)候选区域； 第二阶段为相似性学习RCNN重检测， 采用相似性学习RCNN网络将历史帧的预测结果编 码到搜索候选区域中； RCN N网络包括模板记 忆储存库和RCN N检测头。 4.根据权利要求3所述的长时反无人机视觉跟踪方法， 其特征在于， 在相似性学习RCNN 重检测中， 基于模板记忆储存库， 将历史所有帧的高置信度预测结果串 联成特征矩阵， 并将 所述特征矩阵与交叉相关RPN重检测产生的候选区域交叉编码后输入RCN N检测头。 5.根据权利要求3所述的长时反无人机视觉跟踪方法， 其特征在于， 所述交叉相关RPN 重检测， 具体操作如下： 其中， 和 分别表示模板和搜索图像的特征， Filter(k,k)为一 个k×k大小的卷积滤波器， 为交叉编码的特 征输出。 6.根据权利要求3所述的长时反无人机视觉跟踪方法， 其特征在于， 所述相似性学习 RCNN重检测， 具体操作如下： 其中， p(z)∈R1×k×k×c为模板分支z的目标对齐特征， p(x)∈RM×k×k×c为从搜索分支x候选 区域的对齐特 征， 其中M是候选提 议的数量， ⊙表示Hadamard乘积。 7.根据权利要求3所述的长时反无人机视觉跟踪方法， 其特征在于， 所述跟踪网络模型 还包括监督前景检测器， 所述监督前景检测器采用一个独立的RCNN检测头对无人机进 行前 景预测。 8.根据权利要求7所述的长时反无人机视觉跟踪方法， 其特征在于， 所述监督前景检测 器与相似性学习RCN N网络的所述RCN N检测头共享权 重。 9.根据权利要求1所述的长时反无人机视觉跟踪方法， 其特征在于， 所述跟踪网络模权　利　要　求　书 1/2 页 2 CN 115457417 A 2型， 还包括状态感知转换器， 根据一 致性条件切换局部跟踪和全局搜索； 所述一致性条件为 若空间一致性函数loc_eva输出为零， 则开 启全局搜索， 根据高置信度跟踪轨迹的候选提议的评价分数从全局候选区域中找到最佳预 测； 其中， 表示当前高置信度跟踪轨 迹中的某个子 轨迹的结束帧。 10.根据权利要求1 ‑9任一所述的长时反无人机视觉跟踪方法， 其特征在于， 所述跟踪 网络模型， 搜索分支包括第一搜索分支和时空注 意力分支， 采用三联体方式进 行训练， 具体 如下： 获取无人机红外 视频序列的随机帧和两个相邻帧； 将随机帧作为所述模板分支的输入， 将两个相邻帧分别作为第 一搜索分支和时空注意 力分支的输入； 第一阶段的重检测交叉相 关RPN网络， 采用二元交叉熵和平滑L1分别作为分类和回归 损失来训练模型： 其中， pi表示预测的分类值， uii表示预测的边界框回归偏移量， ， 和 分别为 真实标签和真实边界框， 和 表示分类和回归的归一化参数， λ是这两项损失函数的平 衡参数； 第二阶段的重检测RCN N网络， 设置最小化以下损失函数： Lrcnn＝Lsl(C,B)+Lsfd(C)+Lsta(C,C‑1), 其中， Lsl(C， B)表示模板分支和搜索分支之间的相似性学习损失， Lsfd(C)表示监督无人 机前景检测损失， Lsta(C， C‑1)表示相邻帧之间的时空注意力损失。权　利　要　求　书 2/2 页 3 CN 115457417 A 3