(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210323197.7 (22)申请日 2022.03.29 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张晖　李可欣　赵海涛　朱洪波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 姜慧勤 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于无人机运动状态的DeepSort园林 垃圾统计方法 (57)摘要 本发明公开了一种基于无人机运动状态的 DeepSort园林垃圾统计方法， 所述方法包括： 1） 针对模糊图像， 判断模糊区域对目标垃圾的影 响， 预测下一帧预测框， 减少垃圾的多检， 提高统 计的准确率。 2） 针对无人机采集数据时出现突然 上升、 下降、 加速、 减速情况， 改进预测框与检测 框的匹配方法， 提高匹配的准确率， 降低垃圾的 多检率。 在智慧园林场景中， 利用本发明的技术 方案， 可实现对 无人机拍摄的视频信息中的垃圾 进行精准统计， 大大减少了在园林管理中人力物 力的投入， 完善了园林管理系统和保洁人员的考 核标准。 权利要求书3页 说明书5页 附图1页 CN 114821364 A 2022.07.29 CN 114821364 A 1.一种基于无人机运动状态的DeepSort园林垃圾统计方法， 其特征在于， 包括以下步 骤： (1)利用无 人机采集园林的视频信息并进行 逐帧处理； (2)将步骤1中产生的视频帧输入到目标识别网络中， 获得 垃圾检测框信息； (3)初始化卡尔曼滤波器， 跟踪器根据当前帧检测框位置预测下一帧检测框位置， 生成 预测框， 然后将预测框与下一帧的检测框根据代价矩阵进行匹配， 当匹配结果为跟踪器失 配时， 若跟踪器是不确定态， 则直接删除跟踪器， 若跟踪器是确定态且连续达到一定的次 数， 则删除跟踪器； 当匹配结果为检测框失配时， 将检测框初始化为一个新的跟踪器； 当匹 配结果为检测框和预测框配对成功时， 将匹配成功的预测框对应的检测框通过卡尔曼滤波 更新其对应的跟踪器； 重复步骤(3)直到出现确认 态的跟踪器或视频帧结束； (4)当步骤(3)中的不确定态跟踪器连续3帧匹配成功后， 跟踪器变为确定态， 将确定态 的跟踪器预测的预测框与检测框进行级联匹配， 当匹配结果为跟踪器匹配时， 通过卡尔曼 滤波更新其对应的跟踪器， 当匹配结果为检测框和跟踪器失配时， 将之前 的不确认状态的 跟踪器和失配的跟踪器一 起和失配的检测器根据代价矩阵进行匹配； (5)当步骤(4)中代价矩阵匹配的结果为跟踪器失配时， 若跟踪器是不确定态， 则直接 删除跟踪器， 若跟踪器是确定态， 则连续达到一定的次数才删除； 当 匹配结果为检测框失配 时， 将检测框初始 化为一个新的跟踪器； 当匹配结果为检测框和预测框配对成功时， 将其对 应的检测框通过卡尔曼 滤波更新 其对应的跟踪器； 重复步骤(4)和步骤(5)直至 视频结束。 2.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法， 其特 征在于， 所述 步骤(1)中还 包括对每帧图像进行 滤波处理。 3.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法， 其特 征在于， 所述 步骤(2)中目标识别网络采用YOLOv5网络模型。 4.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法， 其特 征在于， 所述步骤(3)中， 将预测框与下一帧的检测框根据代价矩阵进行匹配， 其代价矩阵 公式如下： 其中， P(xP,yP,wP,lP,hP,vxP,vyP,vhP)表示预测框信息， T(xT,yT,wT,lT,hT,vxT,vyT,vhT)表示检测框信息； Sarea表示预测框与检测框重叠面积； wP、 wT分别表示预测框和检测框的宽度； lP、 lT分别表示预测框与检测框的长度； vxP、 vyP分别表 示无人机在采集检测框所在图像的前一帧图像时的水平前进方向的飞行速度与垂直前进 方向的飞行速度； vxT、 vyT分别无人机在采集检测框所在图像时的水平前进方向飞行速度与 垂直前进方向的飞行速度； t0表示无人机在采集检测框所在图像的前一帧图像与无人机在 采集检测框所在图像的时间差值； (xP,yP)、 (xT,yT)分别表示预测框和检测框中心点 坐标。 5.根据权利要求1所述一种基于无人机运动状态的DeepSort园林垃圾统计方法， 其特 征在于， 所述步骤(4)中， 级联匹配中外观信息是通过CNN特征与SIFT特征自适应融合得到 的； 对预测框与检测框进行特征点检测， 根据自适应融合系数融合SIFT特征与CNN特征， 自权　利　要　求　书 1/3 页 2 CN 114821364 A 2适应融合系数的公式如下： 其中， 表示无人机的高度变化 率的绝对值； 用SIFT算法检测的某个特征点坐标为(x,y)， 计算SIFT特征描述符， 然后以特征点为 中 心截取64 ×64的图像块， 利用CNN模型来提取图像块的CNN特征描述符， 最后使用欧式距离 计算检测框的某个特征点Pt与预测框的某个特征点Pp之间的欧式距离， 即相似度， 具体公式 如下： 其中， Ls、 Lc分别表示SIFT和CNN特征描述符的维度， 检测框的某个特征点的SIFT特征描 述符为 预测框的某个特征点的SIFT描述符为 检测框的某个特征点的CNN特征描述符为 预测框的某个特征点的CNN 描述符为 6.一种根据权利要求1所述一种基于无人机运动 状态的DeepSort园林垃圾统计方法的 模糊图像预测框获取 方法， 其特 征在于， 包括以下步骤： S1、 将跟踪当前帧图像分割成Z个大小为 N×N的局部图像， 对局部图像进行模糊判断； S2、 根据局部图像与区域为Darea的交并比进行判断， 如果交并比大于0， 则根据上一帧的 运动状态与当前帧的位置状态确定下一帧的预测框信息； 如果交并比小于0， 则根据 DeepSort算法的步骤预测预测框 。 7.根据权利要求6所述的一种模糊图像预测框获取方法， 其特征在于， 所述步骤S1中模 糊判断方法如下： 将跟踪的当前帧图像分割成Z个大小为N ×N的局部图像， 设分割后局部图像集合为V＝ {v1,v1,...,vZ}， 计算每个局部图像的最 大梯度值并与阈值进行比较， 最大梯度值Gxy的公式 为： 其中， x、 y表示局部图像中的某个像素点位置； o为一个图像通道且o属于{R,G,B}三通 道之一； I为N ×N的局部图像的像素点集； 表示梯度算子； 当最大梯度值小于等于阈值时 认为该局部图像是模糊的； 设判定为模糊的局部图像集即当前帧图像的模糊区域为U＝ {u1,u2,...,un}， un表示第n个模糊的局部图像。 8.根据权利要求7所述的一种模糊图像预测框获取方法， 其特征在于， 所述步骤S2中判 断模糊的局部图像集是否对目标识别有影响的方法如下： 设预测框 的中心位置为圆心， Ro 为半径的圆形区域 为Darea， 利用Darea遍历集合U， 计算ui与Darea的交并比， Ro的计算公式如下：权　利　要　求　书 2/3 页 3 CN 114821364 A 3