(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028907 7.X (22)申请日 2022.03.23 (71)申请人 云火科技 （盐城） 有限公司 地址 224000 江苏省盐城市 盐南高新区新 河街道办事处新怡社区新园路20号3 幢106室 （CNX） (72)发明人 姜碧怡　刘柱　陈瑾　范浩楠　 (74)专利代理 机构 常州盛鑫专利代理事务所 (普通合伙) 32459 专利代理师 刘燕芝 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于深度卷积的车辆多目标检测方法 (57)摘要 本发明涉及交通监控技术领域， 尤其涉及一 种基于深度卷积的车辆多目标检测方法， 解决了 现有技术中现有技术中基于车辆多目标检测的 方法， 不能有效的对多车辆检测进行轻量化计 算， 不能更好的通过算法降低车辆拥堵的情况发 生的问题。 一种基于深度卷积的车辆多目标检测 方法， 包括以下步骤： 第一步， 实时采集车辆 前方 的图像数据和点云数据； 相机预置位设置以及相 机标定。 本发 明实现了实时的检测效果以及较高 的道路溢出识别精度， 可以极大降低人力资源成 本， 及时提供道路溢出情况， 辅助交通调度， 避免 交通瘫痪， 同时本发明也可以为路口溢出统计提 供有效的数据、 减少 交通负荷和环境污染、 保证 交通安全、 提高通行效率。 权利要求书1页 说明书4页 附图1页 CN 114612874 A 2022.06.10 CN 114612874 A 1.一种基于深度卷积的车辆多目标检测方法， 其特 征在于， 包括以下步骤： 第一步， 实时采集车辆前方的图像数据和点云数据； 相机预置位设置以及相机标定， 所 述的相机预置位 为进行道路 溢出区域检测时相机所处的固定位置； 第二步， 将上述采集到的图像数据实时传输到训练好的目标检测模型， 进行目标识别， 获取目标信息； 所述目标检测模型采用轻量 化卷积神经网络； 第三步， 获取实时视频流， 使用卷积神经网络模型对兴趣区域进行车辆目标检测； 道路 溢出事件上报并设置睡眠状态； 第四步， 上述目标信息及点云数据匹配到对应车辆的位置信息 。 2.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 目标信息包括目标的类别和目标的2D包围盒信息； 所述轻量化卷积神经网络包括： 骨干网 络和特征提取网络， 获取的目标的2D包围盒信息进行处理， 当出现相同类别的多个2D包围 盒位置重叠程度超过设定的IOU阈值时， 保留检测分数高的2D包围盒， 移除其 他2D包围盒。 3.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型， 进行目标 定位， 得到目标相 对于车辆的位置信息， 包括： 获取KITTI数据集作为目标定位模型的训练 集。 4.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 基于TensorFlow深度学习框架， 构建目标定位模型； 将上述获取的训练集输入到目标定位 模型中， 设置初始 化方法、 学习率、 优化器和损失函数， 对模 型进行多次训练， 获得网络模型 定位权重文件。 5.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 将采集的点云数据与激光雷达坐标系投影到像素坐标系的标定参数进行计算后投影到图 像上， 基于目标检测模型获取 的目标2D包围盒信息， 从投影到图像上的点云数据中获取在 目标2D包围盒内的点云数据。 6.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 将每一个目标2D包围盒内的点云数据分别输入到目标定位模 型中， 以上述网络模型定位权 重文件作为定位网络的权重参数， 得到每一个目标与车辆的距离信息和目标的3D包围盒信 息， 所述点云数据由所述激光雷达采集得到 。 7.根据权利要求1所述的一种基于深度 卷积的车辆多目标检测方法， 其特征在于， 所述 道路溢出上报并设置睡眠状态包 含以下步骤： (1):如果成功检测出道路溢出， 选择在前Tduring时刻的视频帧和 当前视频帧上绘制 出当前的道路溢出检测区域， 并在视频帧底边添加视频帧时间和地点信息后将两张图像左 右排列合并， 最后将道路 溢出信息以及合成图进行 上报； (2):如果成功将道路溢出事件上报， 则设置为睡眠状态， 直至Tsleep后重新开启道路 溢出检测， 其中Tsle ep为预先阈值的阈值， 单位 为秒， 其取值范围为Tsle ep≥1。权　利　要　求　书 1/1 页 2 CN 114612874 A 2一种基于深度卷积的车辆多目标 检测方法 技术领域 [0001]本发明涉及交通监控技术领域， 特别是涉及一种基于深度卷积的车辆多目标检测 方法。 背景技术 [0002]深度学习在机器视觉和激光雷达信息等多传感器数据处理上的使用正受到越来 越多的研究学者的关注， 并被逐步应用于产品中。 目标检测与定位是无人驾驶车辆的感知 核心技术之一， 可细分为 目标检测与目标定位两部分。 其中目标检测是实现在图像中能够 检测和识别目标， 目标定位是实现能够获得目标相对传感器的距离信息。 针对目标检测与 定位技术， 目前多采用传统的方法和复杂度高的卷积神经网络来实现。 传统的方法中每个 目标需要特定设计的特征和分类器， 且每个分类器的参数无法共享， 这对于多目标 的检测 会需要很多计算时间， 完全不能满足无 人驾驶车辆的实时性处 理要求。 [0003]复杂度高的卷积神经网络内采用的传统卷积操作需要较大的运算次数和内存空 间， 且特征层之 间缺少数据的交流， 不易于网络的训练， 以及不能满足无人驾驶车辆的实时 性处理要求。 因此， 现有的目标检测与定位方法应具有较高的准确度， 能够用于存在 多个静 态、 动态目标的复杂场景， 并且满足自动驾驶车辆的实时性检测定位需求； 不可以同时根据 算法快速的进行道路溢出检测， 从而不能有效的对多车辆检测进行轻量化计算， 不能更好 的通过算法降低车辆拥堵的情况发生。 发明内容 [0004]本发明的目的是提供一种基于深度卷积的车辆多目标检测方法， 解决了现有技术 中基于车辆多目标检测的方法， 不能有效的对多车辆检测进行轻量化计算， 不能更好的通 过算法降低车辆拥堵的情况发生的问题。 [0005]为了实现上述目的， 本发明采用了如下技 术方案： [0006]一种基于深度卷积的车辆多目标检测方法， 包括以下步骤： [0007]第一步， 实时采集车辆前方的图像数据和点云数据； 相机预置位设置以及相机标 定， 所述的相机预置位 为进行道路 溢出区域检测时相机所处的固定位置； [0008]第二步， 将上述采集到 的图像数据实时传输到训练好的目标检测模型， 进行目标 识别， 获取目标信息； 所述目标检测模型采用轻量 化卷积神经网络； [0009]第三步， 获取实时视频流， 使用卷积神经网络模型对兴趣区域进行车辆目标检测； 道路溢出事件上报并设置睡眠状态； [0010]第四步， 上述目标信息及点云数据匹配到对应车辆的位置信息 。 [0011]优选的， 所述目标信息包括目标的类别和目标的2D包围盒信息； 所述轻量化卷积 神经网络包括： 骨干网络和特征提取网络， 获取的目标的2D包围盒信息进 行处理， 当出现相 同类别的多个2D包围盒位置重叠程度超过设定的IOU阈值时， 保留检测分数高的2D包围盒， 移除其他2D包围盒。说　明　书 1/4 页 3 CN 114612874 A 3