(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210787274.4 (22)申请日 2022.07.06 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 刘兆惠　赵世吉　王超　林立飞　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 王彬 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/20(2022.01) G06V 10/82(2022.01) (54)发明名称 一种雾天行 车障碍物检测方法及设备 (57)摘要 本发明公开了一种雾天行车障碍物检测方 法及设备， 属于智 能交通技术领域， 用于解决现 有的雾天目标检测算法会使图像丢失细节信息， 导致检测精度低的技术问题。 方法包括： 对预设 数据集中的每张晴天图像进行边缘特征提取， 得 到每张晴天图像的边缘特征图； 基于预设数据集 以及边缘特征图， 构建训练数据集； 构建边缘 ‑卷 积特征融合网络， 并将训练数据集中的每张晴天 图像与对应的边缘特征图输入边缘 ‑卷积特征融 合网络， 得到对应的特征融合图； 将训练数据集 中的每张晴天图像以及对应的特征融合图构建 为优化数据集， 对障碍物检测模型进行训练， 并 对训练后的障碍物检测模型进行优化， 对经过去 雾处理后的待测雾天图像进行障碍物目标检测。 权利要求书2页 说明书6页 附图4页 CN 115393822 A 2022.11.25 CN 115393822 A 1.一种雾天行 车障碍物检测方法， 其特 征在于， 所述方法包括： 对预设数据集中的每张晴天图像进行边缘特征提取， 得到每张晴天图像的边缘特征 图； 其中， 所述晴天图像中包 含障碍物目标； 基于所述预设数据集以及所述边缘特征图， 构建训练数据集， 并通过所述训练数据集， 训练障碍物检测模型； 构建边缘 ‑卷积特征融合网络， 并将所述训练数据集中的每张晴天图像与对应的边缘 特征图输入所述 边缘‑卷积特征融合网络， 得到对应的特 征融合图； 将所述训练数据集中的每张晴天图像以及对应的特征融合图构建为优化数据集， 对所 述障碍物检测模型进行优化； 通过优化后的所述障碍物检测模型， 对经过去雾处理后的待测雾天图像进行障碍物目 标检测。 2.根据权利要求1所述的一种雾天行车障碍物检测方法， 其特征在于， 对预设数据集中 的每张晴天图像进行边 缘特征提取， 得到每张晴天图像的边 缘特征图， 具体包括： 在KITTI数据集中提取 出所有的晴天图像， 构成所述预设数据集； 通过包含sobel算子的边缘特征提取模型， 对所述预设数据集中的每张晴天图像进行 边缘特征提取， 得到对应的边 缘特征图。 3.根据权利要求2所述的一种雾天行车障碍物检测方法， 其特征在于， 基于所述预设数 据集以及所述 边缘特征图， 构建训练数据集， 具体包括： 计算所述 边缘特征图的全局最佳阈值OD S； 根据所述全局最佳阈值ODS， 将每张所述边缘特征图中进行二值化处理， 得到二值边缘 图； 其中， 所述边缘特征图中大于所述全局最佳阈值ODS的元素值置为 1， 小于等于所述全局 最佳阈值OD S的元素值置为0； 统计每张二值边缘图中， 元 素值为1的元素数量， 得到边 缘特征点评估值； 若所述边缘特征点评估值大于预设阈值， 则将对应的边缘特征图进行保留， 并将保留 的边缘特征图与对应的晴天图像， 构成所述训练数据集。 4.根据权利要求1所述的一种雾天行车障碍物检测方法， 其特征在于， 构建边缘 ‑卷积 特征融合网络， 具体包括： 将YOLOv5s网络中 的Focus结构、 CBL结构以及CSP1_X结构， 按照预设顺序构建为若干个 特征提取层， 并将所述若干个特 征提取层与一个池化层构建为Backbo ne网络； 在所述Backbo ne网络的第五个特 征提取层以及第七个特 征提取层之间构建级联模块； 所述Backbo ne网络以及所述级联模块构成所述 边缘‑卷积特征融合网络 。 5.根据权利要求4所述的一种雾天行车障碍物检测方法， 其特征在于， 所述方法还包 括： 在所述Backbone网络中的每个CSP1_X结构中， 构建残差模块； 其中， 所述残差模块中包 含X个残差块以及一个ad d操作层。 6.根据权利要求5所述的一种雾天行车障碍物检测方法， 其特征在于， 将所述训练数据 集中的每张晴天 图像与对应的边缘特征图输入所述边缘 ‑卷积特征融合网络， 得到对应的 特征融合图， 具体包括： 将所述训练数据集中的每张晴天图像与对应的边缘特征图成对输入所述边缘 ‑卷积特权　利　要　求　书 1/2 页 2 CN 115393822 A 2征融合网络中； 通过所述CBL结构， 提取输入的晴天图像中障碍物的卷积特 征； 通过所述CSP1_X结构中的残差模块， 将提取的卷积特征与输入 的边缘特征图进行add 叠加操作， 得到复合特 征图； 将所述Backbone网络中的第五个特征提取层输出的复合特征图， 与第七个特征提取层 输出的复合特 征图的上采样进行级联拼接， 得到所述特 征融合图。 7.根据权利要求1所述的一种雾天行车障碍物检测方法， 其特征在于， 将所述训练数据 集中的每张晴天图像以及对应的特征融合图构建为优化数据集， 对所述障碍物检测模型进 行优化， 具体包括： 通过所述优化数据集， 对所述障碍物检测模型进行训练； 在训练过程中， 通过warm ‑up学习率调整策略对所述障碍物检测模型中各层网络的权 重参数进行参数寻优， 直至所述各层 网络的学习率达到测试要求后， 得到优化后的障碍物 检测模型。 8.根据权利要求1所述的一种雾天行车障碍物检测方法， 其特征在于， 在通过所述训练 数据集， 训练障碍物检测模型之前， 所述方法还 包括： 基于YOLOv5s网络以及 pytorch框架搭建所述障碍物检测模型； 设置所述障碍物检测模型各层网络的迭代次数、 初始学习率、 周期学习率、 动量参数以 及权重衰减参数； 其中， 所述迭代次数统一设置为300， 初始学习率设置为0.01， 周期学习率设置为0.2， 动量参数设置为0.937， 权 重衰减参数设置为0.0 005。 9.根据权利要求1所述的一种雾天行车障碍物检测方法， 其特征在于， 通过优化后的所 述障碍物检测模型， 对经 过去雾处 理后的待测雾天图像进行障碍物目标检测， 具体包括： 通过车载设备， 采集雾天行 车途中的待测雾天图像； 通过门控上下文聚合网络GCANet， 对所述待测雾天图像进行去雾处理， 得到对应的去 雾图像； 将所述去雾图像输入 优化后的障碍物检测模型中进行检测； 若检测出障碍物目标， 通过标注框在所述去雾 图像中对所述障碍物目标进行标注， 得 到障碍物目标检测结果图。 10.一种雾天行 车障碍物检测设备， 其特 征在于， 所述设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有能够被所述至少一个处理器执行的指令， 以使所述至少一个处理器 能够执行根据权利要求1 ‑9任一项所述的一种雾天行 车障碍物检测方法。权　利　要　求　书 2/2 页 3 CN 115393822 A 3