(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210525565.6 (22)申请日 2022.05.16 (71)申请人 太原科技大 学 地址 030024 山西省太原市万柏林区窊流 路66号 (72)发明人 张雄　李晏隆　上官宏　武晓嘉　 宁爱平　王安红　 (74)专利代理 机构 太原中正和专利代理事务所 (普通合伙) 14116 专利代理师 焦进宇 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/766(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种自适应目标框优化的无 人机跟踪方法 (57)摘要 本发明属于图像处理技术领域， 具体涉及一 种针对无人机视角下选定目标进行准确跟踪的 图像方法， 具体技术方案为： 一种自适应目标框 优化的无人机跟踪方法， 孪生跟踪网络由特征提 取骨干网络模块、 锚点候选模块、 多尺度特征提 取模块、 特征融合模块和自适应分类回归模块组 成； 本发明一方面引入了一个全新的多尺度通道 注意力机制—MSCA模块， 通过此模块提高了用于 锚点生成的模板特征的表达能力， 另一方面引入 了可变形卷积的思想， 利用锚框信息作为偏移量 参数， 用于提高自适应分类和回归网络的信息获 取能力， 在UAV123、 UAV20L、 GOT ‑10K等三个公开 基准数据集上的实验表明， 与传统的算法相比， 我们提出的方法拥有更好的跟踪性能。 权利要求书2页 说明书9页 附图5页 CN 114820712 A 2022.07.29 CN 114820712 A 1.一种自适应目标框优化的无人机跟踪方法， 其特征在于， 包括孪生跟踪 网络， 所述孪 生跟踪网络由特征提取骨干网络模块、 锚点候选模块、 多尺度特征提取模块、 特征融合模块 和自适应分类回归 模块组成； 所述特征提取骨干网络模块包括共享参数的模块分支和搜索分支， 模块分支输入模板 图像Z， 模板图像Z经过特征提取骨干网络的5层卷积后， 得到输出特征图 搜索分支输 入视频序列中的某一帧搜索图像X， 搜索图像X也经过特征提取骨干网络的5层卷积后， 得到 输出特征图 所述锚点候选模块是将 模块特征与搜索特征进行卷积运算得到响应特征R4中的每一个 点上对应生成一个锚， 用于预测目标位置， 为了进一步提高锚的准确性， 在 锚点候选模块前 增加一个多尺度信息模块， 将模板分支经过特征提取骨干网络得到的第四层输出特征图 作为该模块的输入； 所述多尺度特征提取模块用于建立分类回归模块与锚点候选网络模块之间的信息关 系； 所述特征融合模块 由响应特征R5与用于锚点候选模块的响应特征R4进行融合构成， 模 板特征 与搜索特 征 进行互相关操作得到响应特 征R5； 所述自适应分类回归模块是在SiamAPN网络的分类回归模块基础上增加了一个引导式 卷积模块， 用于训练跟踪器的分类能力与定位能力。 2.根据权利要求1所述的一种自适应目标框优化的无人机跟踪方法， 其特征在于， 将 作为输入特征x送入多尺度通道注意力机制中， 经过四个卷积核后被分为四个 大小为C/4×H×W的特征x1、 x2、 x3、 x4， 之后对这四个特 征进行分布式处 理； 对x1保持不变， 用来保留原 始特征的基本信息； 将x2送入一个大小为3 ×3的卷积核a， 得到特征y1， 之后对特征y1进行平均池化， 再经过 上采样得到一个与x2大小相同的特 征z1； 将x3送入一个大小为5 ×5的卷积核b， 得到特征y2， 之后对特征y2进行平均池化， 再经过 上采样得到一个与x3大小相同的特 征z2； 将x4送入一个大小为7 ×7的卷积核c， 得到特征y3， 之后对特征y3进行平均池化， 再经过 上采样得到一个与x4大小相同的特 征z3； 将x1、 z1送入ECA1注意力模块中， z2、 z3送入ECA2注意力模块中， 分别得到各个特征的注 意力权重α1、 α2、 α3、 α4， 这种ECA注意力模块； 将α1、 α2、 α3、 α4进行级联得到注意力权重α5， 再对α5进行softmax处理， 得到最终的多尺 度通道交 互注意力权值矩阵αall； 将得到的多尺度通道交互注意力权值矩阵αall与原始特征X进行相乘， 最终得到一个具 有多尺度通道交 互信息的特 征Y。 3.根据权利要求2所述的一种自适应目标框优化的无人机跟踪方法， 其特征在于， 引导 式卷积利用了可变形卷积思想， 在标准传统卷积的基础上对每个卷积核的采样点增加了一 个二维偏移量， 从而获得不 规则的采样位置， 抽取到与产生 二维偏移量信息相关的特 征； 引导式卷积利用了可变形卷积的方式， 将自适应锚点后悬网络中锚框的纵横比设定为 引导可变形卷积感受野变化的偏移参数， 不同的锚框产生的偏移量不同， 获取到的特征更权　利　要　求　书 1/2 页 2 CN 114820712 A 2容易对应于具有不同尺度变换的目标。 4.根据权利要求3所述的一种自适应目标框优化的无人机跟踪方法， 其特征在于， 自适 应分类回归网络的分支结构采用的损失函数如下： Lcls＝ λcls1lcls1+λcls2lcls2+λcls3lcls3            (1) Lcls为分类分支的总分类损失， 由三个子分类损失构成， 其中， lcls1为交叉熵损失函数， 用于调节锚框与真实边 界框的IOU； lcls2为二元交叉熵损失函数， 集中于选择落在真实边界 框中的锚点； lcls3为二元交叉熵损失函数， 用于优化每个对应点与地面真实值的中心距离； λcls1、 λcls2、 λcls3为预定义的超参数； Lloc＝ λloc1lIOU+λloc2lloc             (2) Lloc为回归分支的总回归损失， lloc为L1损失函数， 用于预测框回归； 其中lIOU为IOU损失 函数， 用于预测框与真实框的IOU损失优化， 帮助模型获得更鲁棒的回归结果； λloc1、 λloc2为 预定义的超参数； L＝Lapn+Lcls+Lloc            (3) 整个网络的损失函数如式(3)中所示， 其中Lapn为自适应锚点模块的损失函数， 用于自 适应锚点的优化。权　利　要　求　书 2/2 页 3 CN 114820712 A 3