(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602131.1 (22)申请日 2022.05.30 (71)申请人 九识智行 （北京） 科技有限公司 地址 102211 北京市昌平区小汤山 镇常兴 庄村常后路西100米丝路风情 （北京） 酒店管理服 务有限公司内2层821645 申请人 九识 （苏州） 智能科技有限公司 (72)发明人 董博　林金表　许舒恒　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 王欣 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06N 20/00(2019.01) (54)发明名称 三维目标检测模型的训练和使用方法、 装 置、 介质及设备 (57)摘要 本申请公开了一种三维目标检测模型的训 练和使用方法、 装置、 介质及设备， 属于数据处理 技术领域。 方法包括： 获取三维目标检测模型和 训练集； 利用三维目标检测模型中的学生网络对 单目图像进行检测， 得到第一检测结果、 深度损 失函数和真值损失函数； 利用教师网络对点云数 据进行检测， 得到第二检测结果； 根据第一检测 结果和第二检测结果计算BEV特征蒸馏损失函 数、 三维关系蒸馏损失函数和响应蒸馏损失函 数； 根据上述五个损失函数计算三维目标检测模 型的整体损失函数； 根据整体损失函数训练三维 目标检测模 型。 本申请通过跨模态知识蒸馏使单 目三维目标检测能够从雷达三维目标检测 中学 习到三维信息， 提高了检测精度和检测 效率， 降 低了检测成本 。 权利要求书3页 说明书11页 附图4页 CN 115223117 A 2022.10.21 CN 115223117 A 1.一种三维目标检测模型的训练方法， 其特 征在于， 所述方法包括： 获取三维 目标检测模型和训练集， 所述训练集中包含在无人驾驶车辆的行驶过程中采 集到的同一时刻的单目 图像和点云数据， 所述三 维目标检测模型中包含学生网络和教师网 络； 利用所述学生网络对所述单目图像进行检测， 得到第一检测结果、 深度损 失函数和真 值损失函数； 利用所述教师网络对所述 点云数据进行检测， 得到第二检测结果； 根据所述第一检测结果和所述第二检测结果计算纯电动汽车BEV特征蒸馏损失函数、 三维关系蒸馏损失函数和响应蒸馏损失函数； 根据所述深度损失函数、 所述真值损失函数、 所述BEV特征蒸馏损失函数、 所述三维关 系蒸馏损失函数和所述响应蒸馏损失函数计算所述 三维目标检测模型的整体损失函数； 根据所述整体损失函数训练所述 三维目标检测模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一检测结果和所述第 二检 测结果计算纯电动汽车BEV特征蒸馏损失函数、 三维关系蒸馏损失函数和响应蒸馏损失函 数， 包括： 采用非极大值抑制NMS算法对所述第一检测结果中的第 一三维预测框和第 一分类置信 度进行融合， 将 融合后得到的第二三维预测框映射到所述学生网络输出的第一BEV特征图 中， 得到第一感兴趣区域特 征图； 采用所述NMS算法对所述第 二检测结果中的第 三三维预测框和第二分类置信度进行融 合， 将融合后得到的第四三 维预测框映射到所述教师网络输出的第二BEV特征图中， 得到第 二感兴趣区域特 征图； 根据所述第一感兴趣区域特征图和所述第二感兴趣区域特征图计算所述BEV特征蒸馏 损失函数； 根据所述第一感兴趣区域特征图和所述第二感兴趣区域特征图计算所述三维关系蒸 馏损失函数； 根据所述第一三维预测框、 所述第一分类置信度、 所述第三三维预测框和所述第二分 类置信度计算所述响应蒸馏损失函数。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一感兴趣区域特征图和所 述第二感兴趣区域特 征图计算所述BEV特 征蒸馏损失函数， 包括： 对所述第一感兴趣区域特征图进行维度变换， 到第三感兴趣区域特征图， 所述第三感 兴趣区域特 征图的维度与所述第二感兴趣区域特 征图的维度相同； 对所述第二感兴趣区域特征图和所述第 三感兴趣区域特征图计算二 次损失， 得到所述 BEV特征蒸馏损失函数。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一感兴趣区域特征图和所 述第二感兴趣区域特 征图计算所述 三维关系蒸馏损失函数， 包括： 对所述第一感兴趣区域特征图进行维度变换， 到第三感兴趣区域特征图， 所述第三感 兴趣区域特 征图的维度与所述第二感兴趣区域特 征图的维度相同； 计算所述第 三感兴趣区域特征图中的各个感兴趣区域特征图之间的关系， 得到第 一关 系矩阵；权　利　要　求　书 1/3 页 2 CN 115223117 A 2计算所述第 二感兴趣区域特征图中的各个感兴趣区域特征图之间的关系， 得到第 二关 系矩阵； 对所述第一关系矩阵和所述第 二关系矩阵计算一 次损失， 得到所述三维关系 蒸馏损失 函数。 5.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一三维预测框、 所述第一 分类置信度、 所述第三三维预测框和所述第二分类置信度计算所述响应蒸馏损失函数， 包 括： 对所述第一三维预测框、 所述第一分类置信度、 所述第三三维预测框和所述第二分类 置信度计算 一次损失， 得到所述响应蒸馏损失函数。 6.根据权利要求1所述的方法， 其特征在于， 所述利用所述学生网络对所述单目图像进 行检测， 得到第一检测结果、 深度损失函数和真值损失函数， 包括： 利用所述学生网络对所述单目图像进行二维卷积处 理， 得到二维特 征图； 对所述二维特征图进行深度估计， 得到稠密深度图和所述深度损失函数； 对所述二维特征图和所述稠密度深度图进行张量点乘运算， 根据 单目相机与 雷达的标 定关系对运 算结果进行转换， 得到第一 三维特征图； 对所述第一 三维特征图进行 卷积和降维处 理， 得到第一BEV特 征图； 利用三维探测头对所述第一BEV特征图进行处理， 得到所述第一检测结果和所述真值 损失函数。 7.根据权利要求1所述的方法， 其特征在于， 所述利用所述教师网络对所述点云数据进 行检测， 得到第二检测结果， 包括： 利用所述教师网络对所述 点云数据进行三维稀疏 卷积处理， 得到第二 三维特征图； 对所述第二 三维特征图进行 卷积和降维处 理， 得到第二BEV特 征图； 利用三维探测头对所述第二BEV特 征图进行处 理， 得到所述第二检测结果。 8.根据权利要求1至7中任一所述的方法， 其特征在于， 所述根据 所述深度损失函数、 所 述真值损失函数、 所述BEV特征蒸馏损失函数、 所述三 维关系蒸馏损失函数和所述响应蒸馏 损失函数计算所述 三维目标检测模型的整体损失函数， 包括： 获取第一系数、 第二系数、 第三系数和第四系数； 将所述真值损失函数、 所述深度损失函数和所述第 一系数的乘积、 所述BEV特征蒸馏损 失函数和所述第二系 数的乘积、 所述三维关系蒸馏损失函数和所述第三系 数的乘积、 所述 响应蒸馏损失函数和所述第四系数的乘积相加， 得到所述三 维目标检测模 型的整体损失函 数。 9.一种三维目标检测模型的使用方法， 其特 征在于， 所述方法包括： 通过无人驾驶车辆中的单目相机采集当前时刻的单目图像； 获取三维目标检测模型， 所述三维目标检测模型是采用如权利要求1至8中任一所述的 训练方法进行训练后得到； 利用所述三维 目标检测模型中的学生网络对所述单目图像进行检测， 得到三维 目标的 三维预测框和分类。 10.一种三维目标检测模型的训练装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取三维目标检测模型和训练集， 所述训练集中包含在无人驾驶权　利　要　求　书 2/3 页 3 CN 115223117 A 3