(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210330769.4 (22)申请日 2022.03.30 (71)申请人 南京邮电大 学 地址 210000 江苏省南京市文苑路9号 (72)发明人 张晖　马博文　赵海涛　朱洪波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多轨迹智能预测的航拍树木数量 精准统计方法 (57)摘要 本发明涉及一种基于多轨迹智能预测的航 拍树木数量精 准统计方法， 通过构建所提出双路 特征融合的金字塔结构， 实现了各层级的特征信 息进行有效的融合， 解决了对低、 矮、 小树木的漏 检问题， 并进一步在搭建的轻量化飞行器巡检网 络中加入动态调控算法， 使 得网络各个参数与飞 行器边端设备更加匹配， 从而最大化利用设备算 力获得较好的识别效果， 最后利用所提出的结合 轨迹分类统计方法进行准确统计； 与传统目标统 计算法相比， 本发明具有更好抗形变能力， 降低 了无人机由于形变变化对统一目标的重复统计 问题， 实现了更加精准的统计效果。 权利要求书6页 说明书12页 附图3页 CN 114863267 A 2022.08.05 CN 114863267 A 1.一种基于多轨迹智能预测的航拍树木数量精准统计方法， 其特征在于： 按如下步骤A 至步骤C， 获得轻量化 飞行器巡检网络； 然后应用轻量化 飞行器巡检网络， 执行步骤i至步骤 ii， 针对飞行器飞行轨 迹下实时所获各航拍图像中树木数量的统计； 步骤A.构建双路特征融合的金字塔结构处理流程， 用于实现各层级特征图的融合处 理， 然后进入步骤B； 步骤B.以预设骨干网络的输出对接金字塔结构处理流程的输入， 金字塔结构处理流程 的输出对接预设分类网络的输入， 构建以航拍图像为输入， 以航拍图像中各树木目标检测 框分别所对应预设类型参数信息为输出， 构建待训练轻量化飞行器巡检网络， 然后进入步 骤C； 步骤C.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的 各幅航拍样本图像， 以航拍样本图像为输入， 以包含树木目标检测框所对应预设类型参数 信息的该航拍样本图像为输出， 针对待训练轻量化飞行器巡检网络进行训练， 获得轻量化 飞行器巡检网络； 步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像， 应用轻量化飞行器巡检网 络， 获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息， 并结合飞行器所 对应各飞行信息， 针对各航拍图像， 按飞行上升轨迹、 飞行下降轨迹、 飞行巡航轨迹进行分 类， 然后进入步骤i i； 步骤ii.分别针对飞行上升轨迹、 飞行下降轨迹、 飞行巡航轨迹， 针对轨迹航拍集中各 帧航拍图像对应树木目标检测框参数信息进 行分析， 完成对全部飞行轨迹下实时所获各航 拍图像中树木数量的统计。 2.根据权利要求1所述一种基于多轨迹智能预测的航拍树木数量精准统计方法， 其特 征在于： 所述步骤A中， 基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处 理层， 针对其中连续四个下采样处理层分别处理所输出的特征图F1、 F2、 F3、 F4， 构建双路特 征融合的金字塔结构处 理流程如下， 用于实现各层级特 征图的融合处 理， 然后进入步骤B； 对应处理输 出特征图F4的下采样处理层的输出端依次串联尺度由小至 大顺序排列的第 一上采样处 理层、 第二上采样处 理层、 第三上采样处 理层、 第四上采样处 理层， 按如下公式： 第一上采样处理层针对特征图F4处理输出特征图F4'， 同时， 第二上采样处理层的输入 端对接对应处理输出特征图F3的下采样处理层的输出端， 第二上采样处理层针对特征图 F4'、 以及特征图F3处理输出特征图F3'； 第三上采样处理层的输入端对接对应处理输出特征 图F2的下采样处理层的输出端， 第三上采样处理层针对特征图F3'、 以及特征图F2处理输出 特征图F2'； 第四上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出 端， 第四上采样处理层针对特征图F2'、 以及特征图F1处理输出特征图F1'； 其中， c onvk×k表示 卷积操作， k表示相应卷积操作中卷积核的大小， 表示为特征融合过程， ups( ·)表示上采 样操作； 同时， 对应处理输出特征图F3的下采样处理层的输出端依次串联尺度由小至大顺序排 列的第五上采样处 理层、 第六 上采样处 理层、 第七上采样处 理层， 按如下公式：权　利　要　求　书 1/6 页 2 CN 114863267 A 2第五上采样处理层的输入端对接第六上采样处理层的输出端， 第五上采样处理层针对 特征图F3、 以及第六上采样处理层的输出进行处理输出F3”； 第六上采样处理层的输入端对 接对应处理输出特征 图F2的下采样处理层的输出端、 第七上采样处理层的输出端， 第六上 采样处理层针对特征图F3”、 特征图F2、 以及第七上采样处理层的输出进行处理输出F2”； 第 七上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端， 第七上采 样处理层针对特征图F2”、 以及特征图F1处理输出特征图F1”； 其中， ω1、 ω2、 ω3表示预设横 向通道相加操作时的权 重； 最后， 针对特 征图F1'、 特征图F2'、 特征图F4'， 按如下公式： 获得特征图F4”'， 其中， downs1/2表示将特征图缩放到原来的 的下采样操作， Maxpoolstride＝2(·)表示步长为2的最大池化操作， α、 β、 γ∈(0,1)为自适应特征融合权重 因子， 并按如下公式计算获得； γ＝1‑α‑β 其中， λm， m∈{α, β,γ}， λm表示当前特征层 到目标特征层中下采样缩放的尺度， e表示自 然常数； 以及按如下公式： 获得特征图F1”'、 特征图F2”'、 特征图F3”'； 即构成以特征图F1、 F2、 F3、 F4为输入， 以特征图F1”'、 F2”'、 F3”'、 F4”'为输出的金字塔结 构处理流程。 3.根据权利要求2所述一种基于多轨迹智能预测的航拍树木数量精准统计方法， 其特 征在于： 所述步骤B中， 按如下方式， 构建待训练轻量化 飞行器巡检网络， 然后进入步骤C； 首 先基于MobileNet网络的前六层下采样处理层， 由其中第一层下采样处理层的输入端接收 航拍图像， 第三层下采样处理层、 第四层下采样处理层、 第五层下采样处理层、 第六层下采 样处理层分别针对所输入特征图X3、 X4、 X5、 X6， 依次获得特征图Y3、 Y4、 Y5、 Y6， 即构建预设骨干 网络； 然后以特征图Y3、 Y4、 Y5、 Y6依次对应所述特征图F1、 F2、 F3、 F4， 输入金字塔结构处理流程， 获得对应特征图F1'、 F2'、 F3'、 F4'的特征图P3、 P4、 P5、 P6， 对应特征图F1”、 F2”、 F3”的特征图R3、权　利　要　求　书 2/6 页 3 CN 114863267 A 3