(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210794742.0 (22)申请日 2022.07.07 (71)申请人 淮阴工学院 地址 223003 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 高尚兵　刘宇　李杰　陈浩霖　 于永涛　张海艳　陈晓兵　张秦涛　 胡序洋　李少凡　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于MSA-Yolov5的恶劣天气下车辆检 测方法及装置 (57)摘要 本发明公开了一种基于MSA ‑Yolov5的恶劣 天气下车辆检测方法及装置， 首先， 将DAWN数据 集划分为训练集与测试集， 并进行预处理； 其次， 构建MSA‑Yolov5模型， 包括Backbone模块、 Neck 模块以及Prediction模 块； 其中Backbone模 块为 MSA‑ResBlock， 包括Focus网络、 SCBAM模块和 ResBlock模 块； 首先用SCB AM模块对恶劣天气下， 模糊场景中的车辆、 行人目标进行特征强化； 然 后通过多尺度特征融合， 使用GIoU 算法作为边界 框损失函数， 使用FocalLoss降低预测框内正负 样本的不平衡问题； 最后检测出恶劣天气下车 辆、 行人的位置信息和标签信息， 并得出检测的 精确度。 本发明具有图像校正的计算量减小、 检 测流程精简、 网络的识别精度高的特点， 可以对 恶劣天气下的车辆、 行人进行检测， 并且具有检 测速度快、 模型小、 准确率高的优点。 权利要求书2页 说明书6页 附图6页 CN 115272987 A 2022.11.01 CN 115272987 A 1.一种基于 MSA‑Yolov5的恶劣天气下 车辆检测方法， 其特 征在于， 包括以下步骤： (1)将DAW N数据集划分为训练集与测试集， 并进行 预处理； (2)构建MSA ‑Yolov5模型； 所述MSA ‑Yolov5模型包括Backbone模块、 Neck模块以及 Prediction模块； 所述Backbone模块为MSA ‑ResBlock， 包括Focus网络、 SCBAM模块和 ResBlock模块； (3)将预处理好的图片输入到MSA ‑Yolov5模型中训练： 首先用SCBAM模块对恶劣天气 下， 模糊场景中的车辆、 行人 目标进行特征强化； 然后通过多尺度特征融合， 使用GIoU算法 作为边界框损失函数， 使用Focal Loss降低预测框内正负 样本的不平衡问题； (4)检测出恶劣天气下 车辆、 行人的位置信息和标签信息， 并得 出检测的精确度。 2.根据权利要求1所述的一种基于MSA ‑Yolov5的恶劣天气下车辆检测方法， 其特征在 于， 所述步骤(1)实现过程如下： 将DAWM数据集按照9： 1的比例随机划分为训练数据集和测试数据集； 并将训练集的图 片统一归一化为640*640尺 寸大小的图片； 对车辆图像进 行随机裁剪、 旋转的方法进行数据 增广； 使用Mosaic数据增强， 利用四张图片， 对四张图片进行拼接， 每一张图片都有其对应 的框， 将四张图片拼接之后就 获得一张新的图片， 同时也 获得这张图片对应的框， 然后 将一 张新的图片输入到神经网络当中学习。 3.根据权利要求1所述的一种基于MSA ‑Yolov5的恶劣天气下车辆检测方法， 其特征在 于， 步骤(2)所述Backbone模块用于在不同图像细粒度上聚合并形成图像特征的卷积神经 网络； 对于输入的图像， 首先采用Focus网络结构， 在一张图片中每隔一个像素拿到一个值， 获得了四个独立的特征层， 然后将四个独立的特征层进行堆叠， 此时宽高信息就集中到了 通道信息， 输入通道扩充了四倍； 然后使用了SCBAM注意力机制 模块， 实现对恶劣天气造成 的模糊效果进行优化， 通过3*3的卷积对通过SCBAM后的特征图进行下采样， 使其高宽减半 的同时通道数翻倍； 接着将特征图送入ResBlock中， ResBlock包括CBS、 MSA以及B ‑CSP模块； CBS模块是卷积、 批量归一和激活操作； MSA为多头注意力机制模块， 在 全局中搜寻特征之间 的联系； B ‑CSP模块分为两个部分， 包括了主干和残差结构Bottleneck， B ‑CSP模块主干使用 3*3和1*1卷积； 残差块中使用了7*7卷积， 残差边部分不做任何处理， 直接将主干的输入与 输出结合， 对于上一层输入的不同尺度的特征实现不同的滤波器提取； 随后并行添加1*1卷 积用于约束通道数， 提升网络的表达能力； 再结合多头自注 意力机制， 使其收敛的更加平滑 的同时增 加对高频噪声鲁棒 性； 在Neck模块中引入动态卷积Dy_conv， 使用于FPN中不同尺度的特征图融合之中， 将一 个固定的卷积核， 变为可以根据输入自适应改变注意力的卷积核。 4.根据权利要求1所述的一种基于MSA ‑Yolov5的恶劣天气下车辆检测方法， 其特征在 于， 步骤(2)所述SCBAM模块由输入、 通道注意力模块、 空间注意力模块和输出组成， 使用并 行方式连接， 通过R这个超参数， 对通道注意力模块进 行通道分配， C*R的通道数进入通道注 意力模块， C*(1 ‑R)进入空间注 意力， 然后进行相加， 并用shuffle对两者生成的信息相互渗 透， 具体如下： 输入特征F∈RC*H*W， 然后是通道注意力模块一维卷积Mc∈RC*1*1， 同时空间注意力模块的 二维卷积Ms∈R1*H*W， 再将两者输出 结果相加后shuf fle， 计算方式如下：权　利　要　求　书 1/2 页 2 CN 115272987 A 2通道注意力模块将输入的feature  map经过两个并行的MaxPool层和AvgPool层， 将特 征图从C*H*W变为C*1*1的大小， 然后经过MLP模块， 再经过 ReLU激活函数得到两个激活后的 结果； 将两个输出结果进行逐元素相加， 最后通过一个sigmoid激活函数得到Channel   Attention的输出结果， 再将这个输出 结果乘原图通道 注意力公式： 式中， σ 为sigmoid函 数， W0∈RC/r×C， W1∈RC×C/r， MLP的权重W0和W1共享， 在W0前是ReLU激活 函数， 和 分别是通过平均池化和最大池化后的特 征图； 空间注意力机制将通道注意力的输出结果通过最大池化和平均池化得到两个1*H*W的 特征图， 然后经过Concat操作对两个特征图进行拼接， 通过7*7卷积 变为1通道的特征图， 再 经过一个sigmo id得到Spatial  Attention的特征图， 空间注意力公式： 式中， σ 为sigmoid函数， f7x7为7x7大小的卷积核， 和 分别是通过最大池化和平 均池化后的特 征图。 5.根据权利要求1所述的一种基于MSA ‑Yolov5的恶劣天气下车辆检测方法， 其特征在 于， 步骤(3)所述GI oU算法的计算方式如下： LGIou＝1‑GIoU 找到把A和B包含在内的最小封闭区域C， 计算C中没有覆盖A和B的面积与C总面积的比 值， 最后用I oU减去这个比值， LGI oU则作为 边界框损失函数。 6.根据权利要求1所述的一种基于MSA ‑Yolov5的恶劣天气下车辆检测方法， 其特征在 于， 步骤(3)所述Focal  Loss的计算方式如下： FL(pt)＝‑α t(1‑pt)γlog(pt) 其中， p和1 ‑p是两个参数用于平衡正样本和负样本的权重， Pt为模型预测概率， γ为样 本标签值， 权重因子αt∈[0,1]， 当为正样本时， 权重因子就是αt， 当为负样本时， 权重因子 为1‑α t。 7.一种基于MSA ‑Yolov5的恶劣天气下车辆检测装置， 包括存储器、 处理器及存储在存 储器上并可在处理器上运行 的计算机程序， 其特征在于， 所述计算机程序被加载至处理器 时实现根据权利要求1 ‑6任一项所述的一种基于 MSA‑Yolov5的恶劣天气下 车辆检测方法。权　利　要　求　书 2/2 页 3 CN 115272987 A 3