(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210178373.2 (22)申请日 2022.02.25 (71)申请人 浙江零跑 科技股份有限公司 地址 310051 浙江省杭州市滨江区物联网 街451号1楼 (72)发明人 黄刚　许翔　 (74)专利代理 机构 杭州杭诚专利事务所有限公 司 33109 专利代理师 刘正君 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种激光 点云3D目标检测方法 (57)摘要 本发明公开了一种激光点云3D目标检测方 法， 包括以下步骤： 步骤S1） 激光雷达传感器采集 点云数据并标注障碍物真值； 步骤S2） 基于神经 网络构建3D多任务算法模型； 步骤S3） 对标注好 的点云数据进行在线预处理、 体素化、 语义真值 获取， 以及数据增强； 步骤S4） 用步骤S3处理后的 标注好的点云数据及其对应的语义真值训练3D 多任务算法模型； 步骤S5） 利用训练好的3D多任 务算法模型对点云数据进行检测任务的前向推 理。 本发明在3D目标检测算法模型中加入语义分 割分支得到3D 多任务算法模型， 利用体素化后生 成的语义真值训练语义分割分支， 提炼语义分割 分支的中间特征输出给检测分支以约束检测分 支的检测工作， 提高检测精度。 权利要求书1页 说明书5页 附图2页 CN 114627183 A 2022.06.14 CN 114627183 A 1.一种激光 点云3D目标检测方法， 其特 征在于， 包括以下步骤： 步骤S1： 激光雷达传感器采集 点云数据并标注障碍物真值； 步骤S2： 基于神经网络构建3D多任务 算法模型； 步骤S3： 对标注好的点云数据进行在线预处 理、 体素化、 语义真值获取， 以及数据增强； 步骤S4： 用步骤S3处理后的标注好的点云数据及其对应的语义真值训练3D多任务算法 模型； 步骤S5： 利用训练好的3D多任务 算法模型对点云数据进行检测任务的前向推理。 2.根据权利要求1所述的一种激光点云3D目标检测方法， 其特征在于， 步骤S3中获取语 义真值的具体过程， 包括以下步骤： 步骤A1： 点云数据体素化后， 根据每个体素内是否存在点云生成W*L大小的值为0或1的 图S； 步骤A2： 初始化 W*L大小的值均为0的图S0， 将障碍物真值投影到图S0获得图S1； 步骤A3： 将图S与图S1进行与操作获得图S2； 步骤A4： 将图S中的数值1变换为数值 n+1； 步骤A5： 将变换 数值后的图S与图S2进行异或操作获得语义真值。 3.根据权利要求1所述的一种激光点云3D目标检测方法， 其特征在于， 所述3D多任务算 法模型包括主干网络、 语义分割分支和检测分支， 所述语义分割分支包括语义分割头， 所述 检测分支包括检测头， 所述主干网络的输出端分别与语义分割头和检测头连接 。 4.根据权利要求3所述的一种激光点云3D目标检测方法， 其特征在于， 所述语义分割分 支的中间特 征输出给所述检测分支以约束检测分支的检测工作。 5.根据权利要求4所述的一种激光点云3D目标检测方法， 其特征在于， 所述约束的具体 过程为： 语义分割头的中间特征Fseg经过Sigmoid激活后， 与主干网络的输出Frpn进行点乘获 得Fdet， 将Fdet输入到检测头进行3D目标框的分类与回归。 6.根据权利要求3所述的一种激光点云3D目标检测方法， 其特征在于， 所述主干网络的 输入为经 过步骤S3处 理后的点云数据及点云数据对应的障碍物真值。 7.根据权利要求3所述的一种激光点云3D目标检测方法， 其特征在于， 所述语义分割头 的监督信号为步骤S3获取的语义真值。权　利　要　求　书 1/1 页 2 CN 114627183 A 2一种激光点 云3D目标 检测方法 技术领域 [0001]本发明涉及3D目标检测技 术领域， 具体涉及一种激光 点云3D目标检测方法。 背景技术 [0002]3D目标检测任务是指对3D成像传感器获得的点云数据 进行目标定位与分类， 是3D 场景分析中的一个基本任务， 随着激光雷达传感器的发展以及智能驾驶技术的进步， 基于 点云数据的3D目标检测任务越来越受到关注。 3D目标检测方法目前主要有两种， 一种是通 过聚类的方式将点云中的点云簇聚类为多个目标对象， 例如K ‑means、 DBSCAN等经典算法； 另一种是以近几年迅速发展的神经网络为基础的深度学习方法， 该方法可以分为三类， 分 别是基于点的3D检测方法、 基于体素的3D检测方法， 以及基于投影的3D检测方法。 传统的基 于点云处理的检测方法不够稳定， 性能对场景变化十 分敏感， 而且目标分类不够准确， 同时 误检严重； 在深度学习分支领域， 基于点的检测方法能够充分利用点云结构信息进 行检测， 但是无法通过卷积操作获得高层语义信息， 只能通过多层感知机(MLP)获得全局信息进行 检测； 基于体素的检测方法可以通过3D卷积操作充分获得点云的语义信息进行定位和分 类， 但是速度慢， 而且3D卷积操作不易部署在车载GPU硬件平台， 此类方法还有另外一种方 式， 在体素化时将某 一维度体素化为单位 1， 生成伪图像， 然后基于伪图像进 行2D卷积， 提取 特征， 检测目标， 此方式速度快， 但是精度较低； 基于投影的检测方法可以像2D检测一样对 点云投影出的图像进 行特征提取， 进而回归出目标， 此类方法丢失了一个维度信息， 速度虽 然提升明显， 但是回归精度往 往不够。 发明内容 [0003]本发明主要是为了解决现有的3D目标检测技术不能同时兼顾速度和精度的问题， 提出了一种激光点云3D目标检测方法， 在3D目标检测算法模型中加入语义分割分支得到3D 多任务算法模型， 利用体素化后生成的语义真值训练语义分割分支， 提炼语义分割分支的 中间特征约束检测分支的检测工作， 提高检测精度。 [0004]为了实现上述目的， 本发明采用以下技 术方案： [0005]一种激光点云3D目标检测方法， 包括以下步骤： 步骤S1)激光雷达传感器采集点云 数据并标注障碍物真值； 步骤S2)基于神经网络构建3D多任务算法模型； 步骤S3)对标注好 的点云数据进 行在线预处理、 体素化、 语义真值 获取， 以及数据增强； 步骤S4)用步骤S 3处理 后的标注好的点云数据及其对应的语义真值训练3D多任务算法模型； 步骤S5)利用训练好 的3D多任务算法模型对点云数据进 行检测任务的前向推理。 本发 明提出了一种激光点云3D 目标检测方法， 具体过程为： 1)使用激光雷达传感器采集点云数据， 并用障碍物真值标注 点 云数据， 障碍物真值包括目标尺寸、 位置和方向等信息， 具体的， 障碍物真值对应的属 性为 点云外接矩形体的长、 宽、 高， 中心点在激光雷达坐标系下的坐标(x、 y、 z)、 航向角、 类别； 2) 对标注好障碍物信息的点云数据(即点云数据及其对应的障碍物真值)进 行在线预处理、 体 素化、 语义真值获取， 以及数据增强， 预处理包括但不限于点云数据的乱序处理、 兴趣域的说　明　书 1/5 页 3 CN 114627183 A 3