(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211401523.8 (22)申请日 2022.11.10 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 20/54(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于无人机拍摄夜间低对比度的车辆 重检测方法 (57)摘要 本发明属于车辆重检测技术领域， 涉及一种 基于无人机拍摄夜间低对比度的车辆重检测方 法， 先对数据集中的数据进行视觉信息和红外信 息特征提取， 然后采用基于弱监督进行车辆定位 后将结果输入GAN网络中， 得到高质量的视觉信 息和高质量的红外信息并进行特征提取后对特 征融合， 最后输出高维度车辆特征向量， 即为车 辆重识别结果； 能够克服夜晚和复杂条件下的车 辆重检测， 不受应用场景的限制， 节省人力财力 物力。 权利要求书4页 说明书9页 附图2页 CN 115457420 A 2022.12.09 CN 115457420 A 1.一种基于无 人机拍摄夜间低对比度的车辆 重检测方法， 其特 征在于， 具体过程 为： （1） 数据集构建： 采用 无人机拍摄的视频数据构建数据集， 无人机拍摄的视频包含集 RGB信息和 数据； （2） 视觉信息和红外信息特征提取： 将视频数据划分为单帧的数据， 每帧数据包含RGB 图片数据和 图片数据两种数据， 将RGB图片和 图片分别输入多尺度特征提取网 络VggNet中， 从RGB图片数据中提取视 觉信息特 征， 从 图片数据中提取红外信息特 征； （3） 弱监 督车辆定位： 采用基于弱监 督车辆定位的方式生成车辆位置区域； （4） 基于局部区域增 强的分辨率提升： 将弱监督车辆定位结果输入GAN网络中， 采用基 于局部区域增强的方式将图片的分辨率增加， 得到高质量的视觉信息和高质量的红外信 息， 保证车辆在输入到网络中时， 有 充分的特 征用于后续的车辆 重检测过程； （5） 分辨率提升后的视觉信息和红外信息特征提取： 采用与 步骤 （2） 相同的方式提取分 辨率提升后的视 觉信息特 征和红外信息特 征； （6） 基于注意力机制的特征融合： 根据视觉特征以及红外特征其自身蕴含的像素级互 信息， 先计算像素级特征相似性并加权初始特征， 得到视觉特征和及热红外特征 的自注意 力机制结果， 再采用基于语义信息特征相似性的特征交互模式， 将增强后的车辆区域用来 加权初始车辆特 征得到跨注意力结果； （7） 结果输出： 将步骤 （6） 得到的自注意力和跨注意力结果进行跨层融合并输出高维度 车辆特征向量， 即为车辆 重识别结果； （8） 网络训练和测试： 为训练车辆重识别网络， 从无人机拍摄的视频数据中采用跳帧挑 选的方式选择图片数据， 然后将图片数据输入到多尺度特征提取网络中， 训练二分类网络 并输出图片中是否包含车辆， 在训练网络拟合后测试网络， 如果包含车辆， 则通过CAM机制 将输出车辆的定位信息， 不存在车辆的帧将被舍弃， 再将低质量的车辆局部区域块输入到 GAN网络中， 并朝着高质量、 高分辨率的车辆区域块方向拟合， 直到生成的质量与真实的质 量之间达到无法分辨真假， 得到高质量的更高分辨率的车辆区域块， 然后 将高质量、 高分辨 率的车辆区域输入到多尺度特征提取网络中， 并将二者充分发挥出互补特性， 从而生成计 算相似度量的高维度向量， 从而确定车辆是否为 查找的车辆 。 2.根据权利要求1所述基于无人机拍摄夜间低对比度的车辆重检测方法， 其特征在于， 步骤 （2） 提取的视 觉信息和红外信息特 征为： 定义如下： 其中 代表可见光热红外图像； 代表包含视觉信息的图片； 代 表提取得到的 特征， i代表不同网络层输出的特征信息； 代表采集权　利　要　求　书 1/4 页 2 CN 115457420 A 2的多尺度车辆信息， 3,4,5代 表第3,4,5层的输出 特征， 代表sigmoid函数。 3.根据权利要求2所述基于无人机拍摄夜间低对比度的车辆重检测方法， 其特征在于， 步骤 （3） 的具体过程 为： （31） 先增强多尺度视觉特征和热红外特征， 得到增强的多尺度视觉特征和热红外特 征： 其中， 代表reshape操作， 将特征转化为单一维度向量； 代表softmax函数， 表 示将 矩阵之间的关系矩阵映射到0 ‑1之间； 代表对矩阵的值进 行排序， 代表Concat操作， 代表取K个最大的相似矩阵的值； （32） 采用车辆类别信息约 束的方式， 即将 和 输入到全局池化层 中， 提取高维度特 征向量， 从而达 到精细化车辆特 征区域信息的目的， 详细操作如下， 其中， , , 代表是否存在车辆， 和 代表线性层， 代表 在此处产生的特 征将被输出； 代表特征叠加。 4.根据权利要求3所述基于无人机拍摄夜间低对比度的车辆重检测方法， 其特征在于， 步骤 （4） 的具体过程如下： 先确定车辆区域 ， 权　利　要　求　书 2/4 页 3 CN 115457420 A 3