(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210617142.7 (22)申请日 2022.06.01 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 郑庆祥　金积德　黄荣鹏　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) (54)发明名称 基于改进SSD的增强热红外图像上车辆检测 方法及系统 (57)摘要 本发明公开了一种基于改进SSD的增强热红 外图像上车辆检测方法及系统， 利用红外热成像 传感器摄像机采集并制作原始热红外图像据集； 对原始数据集进行图像增强处理， 得到增强热红 外图像数据集； 基于SSD改进并构建热红外图像 上车辆检测网络ERSSD， 对特征提取网络Stem   block下采样模块进行替换， 减少输入热红外图 像的信息丢失； 使用Stage模块替换特征提取网 络部分中的残差模块， 提高网络特征提取能力和 特征表达能力； 利用增强热红外数据集， 训练 ERSSD网络生成热红外车辆检测模型； 使用热红 外车辆检测模 型进行实时车辆检测。 本发明检测 准确率高， 检测速度快， 图像增强有效的提升了 热红外图像质量， 可用于辅助驾驶系统和 智能交 通系统。 权利要求书3页 说明书8页 附图4页 CN 115171001 A 2022.10.11 CN 115171001 A 1.一种基于改进S SD的增强热红外图像上 车辆检测方法， 其特 征在于， 包括以下步骤： 步骤1： 构建热红外图像上车辆检测网络ERSSD， 负责提取行车辆轮廓特征包括车辆车 身、 轮胎特 征； 所述热红外图像上车辆检测网络ERSSD， 是基于深度学习目标检测网络SSD的改进版网 络； 其中， 对特征提取网络部分中的Stem  block下采样模块进行替换； 所述Stem  block下 采样模块由一个7 ×7内核的卷积、 stride＝2和一个3 ×3的最大池化、 stride＝2组成； 所述 替换由一个3 ×3内核的卷积、 stride＝2， 两个3 ×3内核的卷积、 stride＝1和一个3 ×3的最 大池化、 st ride＝1组成的下采样模块进行代替； 使用Stage模块替换特征提取网络部分中的残差模块； 所述的Stage使特征信息在不同 的网络梯度中传播并拼接， 由主干梯度和分支梯度 组成； 所述主干梯度由原始残差模块堆 叠； 所述的分支梯度有3 ×3的最大池化、 stri de＝2和1 ×1内核的卷积、 stri de＝1组成； 主 干梯度和分支梯度输出的特 征维度长 宽高一致， 通过co ncat进行拼接； 步骤2： 对步骤1得到的热红外车辆检测网络ERSSD进行训练， 配置热红外车辆检测模型 权重文件； 步骤3： 将 实时输入的热红外视频图像先经过图像增强处理， 再输入到热红外车辆检测 网络ERSSD， 使用步骤2中的热 红外车辆检测模型权重文件作为车辆检测网络权重对热 红外 视频数据进行实时车辆检测。 2.根据权利要求1所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在 于， 步骤2的具体实现包括以下子步骤： 步骤2.1： 使用红外热成像及可见光双传感器摄像机机在不同视角和场景下采集热红 外视频数据， 将所述热红外视频数据解码成热 红外图像， 并制作成原始热 红外图像数据集， 再将所述热红外图像数据中车辆目标的位置信息、 车辆尺寸信息和车辆类别信息进行影像 标注储存到标签文件， 其中所述车辆类别信息依据车辆轮廓信息和尺寸信息作为分类依 据； 标注完成后， 得到原 始热红外图像数据集对应的标签数据集； 步骤2.2： 对原始热红外图像数据集进行图像增 强处理， 得到增 强热红外图像数据集； 所述的增强热红外图像数据集， 由热红外图像数据集通过图像增强生成的， 两个数据集保 持相同的标签数据集； 步骤2.3： 将增强热红外图像数据集按照预定比例分配为训练数据集和测试数据集； 将 训练数据集输入到热 红外车辆检测网络ERSSD中， 进 行ERSSD模 型训练； 训练过程中， 每进行 一轮次迭代生成并保存一个目标检测权重文件， 直至网络达到 收敛状态停止训练； 配置得 到热红外车辆检测模型权 重文件。 3.根据权利要求1所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在 于： 步骤3中所述图像增强处理， 是基于自适应分段拉伸变换的引导滤波过程， 所述引导滤 波过程图像增强包括引导图像、 输入图像和输出图像， 其中将热红外图像作为引导图像， 将 热红外图像经过自适应分段拉伸变换的图像作为输入图像； 引导滤波的输出图像为增强热 红外图像。 4.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在 于： 所述自适应分段拉伸变换， 是依据下式(1)所示的函数对热 红外图像数据每个灰度值进权　利　要　求　书 1/3 页 2 CN 115171001 A 2行变换； 其中， Fi表示输入图像像素灰度值， Fr表示经过拉伸后输出图像像素灰度值， Imin是占比 n最小灰度值里的最小值， Imax是占比n最大灰度值里的最小值， n 为压缩因子； 所述引导滤波通过引导图像对输入图像进行滤波处理， 引导滤波在像素i处的滤波输 出表示为加权平均值， 公式(2)所示； qi＝∑jWij(G)pj    (2) 其中， i和j分别表示图像像素的索引， G是引导图像， p是输入图像， q是输出图像， wij(G) 是引导滤波内核， 是引导图像I的函数， 与p无关； 引导滤波内核Wij(G)， 公式(3)所示； 其中， 参数ωk表示第k个核函数窗口， 窗口的半径是r， |ω|是窗口中的像素数， μk和σk2 是窗口中引导图的均值和方差， ε是平 滑因子。 5.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在 于： 步骤2.3中热 红外车辆检测权重， 其获取过程是： 使用热红外车辆检测网络ERSSD训练过 程中生成的车辆检测权重文件对增强热红外图像测试数据集中所有增强热红外图像进行 车辆检测， 检测得到测试数据集中的所有车辆信息并保存， 根据检测结果与对应标签数据 集中真实车辆信息进 行比对计算得到检测精度， 选取测试精度最高的车辆检测权重文件作 为热红外车辆检测网络 ERSSD权重文件。 6.根据权利要求3所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在 于： 根据检测结果与对应标签数据集中真实车辆信息进行比对计算得到检测精度， 包括查 准率P、 召回率R、 准确率AP和每秒检测帧率FP S； 其中， TP表示测试数据集中所有热红外图像上正确检测出的车辆数量， FP表示测试数 据集中所有 热红外图像上误检出的车辆数量， FN表示测试数据集中所有 热红外图像上没有 检测出的车辆数量； 公式(6)中P表示 查准率， R表示召回率。 7.根据权利要求1 ‑6任意一项所述的基于改进SSD的增强热红外图像上车辆检测方法， 其特征在于： 步骤3中热 红外车辆检测网络ERSSD使用目标检测权重文件作为车辆检测的权 重， 对热红外视频数据中的车辆进行分类和回归， 并将分类和回归的车辆信息以标注框的权　利　要　求　书 2/3 页 3 CN 115171001 A 3