(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210618532.6 (22)申请日 2022.06.01 (71)申请人 北京鉴智科技有限公司 地址 100086 北京市海淀区中关村东路1号 院8号楼十六层B1801A-2 (72)发明人 张云鹏　黄冠　都大龙　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) (54)发明名称 对象检测结果确定方法、 对象检测模 型训练 方法及装置 (57)摘要 本申请提供了一种对象检测结果确定方法、 对象检测模型训练方法及装置。 所述方法包括： 通过将采集的目标车辆的多幅环视图像输入至 对象检测模型； 对象检测模型包括： 特征提取层、 候选框预测层和候选框优化层； 调用特征提取层 对多幅环视图像进行特征提取处理， 得到每幅环 视图像在不同尺度下的特征图； 调用候选框检测 层对多幅不同尺度的特征图进行候选框预测处 理， 得到多幅环视图像对应的预测候选框位置和 预测候选框特征； 调用候选框优化层对多幅环视 图像对应的预测候选框位置和预测候选框特征 进行信息迭代交互处理， 得到所述目标车辆周边 的对象检测结果。 本申请可以提高三维检测的性 能和效率。 权利要求书3页 说明书17页 附图5页 CN 115171062 A 2022.10.11 CN 115171062 A 1.一种对象检测结果确定方法， 其特 征在于， 包括： 将采集的目标车辆的多幅环视 图像输入至对象检测模型； 所述对象检测模型包括： 特 征提取层、 候选 框预测层和候选 框优化层； 调用所述特征提取层对所述多幅环视图像进行特征提取处理， 得到每幅所述环视图像 在不同尺度下的特 征图； 调用所述候选框检测层对多幅所述不同尺度的特征图进行候选框预测处理， 得到所述 多幅环视图像对应的预测候选 框特征和预测候选 框位置； 调用所述候选框优化层对所述多幅环视图像对应的预测候选框特征和预测候选框位 置进行信息迭代交 互处理， 得到所述目标 车辆周边的对象检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述调用所述特征提取层对所述多幅环视 图像进行 特征提取处 理， 得到每幅所述环视图像在不同尺度下的特 征图， 包括： 调用所述特征提取层提取所述多幅环视图像 内的在不同尺度下的图像特征， 并输出每 幅所述环视图像在不同尺度下的多幅特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述候选框检测层包括： 候选框位置检测 模块和候选 框特征检测模块， 所述调用所述候选框检测层对多幅所述不同尺度的特征图进行候选框预测处理， 得到 所述多幅环视图像对应的预测候选 框特征和预测候选 框位置， 包括： 调用所述候选框位置检测模块对每幅所述环视图像的特征图进行对象位置检测处理， 得到预测候选 框位置； 调用所述候选框特征检测模块对每幅所述环视图像的特征图进行对象特征检测处理， 得到预测候选 框特征。 4.根据权利要求1所述的方法， 其特征在于， 所述候选框优化层包括： 投影模块、 特征采 样模块、 位置编码模块、 注意力机制模块和特 征融合模块； 所述调用所述候选框优化层对所述多幅环视图像对应的预测候选框特征和预测候选 框位置进行信息迭代交 互处理， 得到所述目标 车辆周边的对象检测结果， 包括： 调用所述投影模块将所述预测候选框位置投影至所述多幅环视图像的多尺度特征图 上， 得到所述预测候选 框位置对应的投影位置； 调用所述特征采样模块对所述投影位置进行特征采样处理， 得到候选框位置采样特 征； 调用所述位置编码模块对多幅所述预测特征图对应的预测候选框位置进行编码处理， 得到位置编码特 征； 调用所述注意力机制模块对所述位置编码特征和所述预测候选框特征的拼接特征进 行特征交互处理， 得到候选 框交互特征； 调用所述特征融合模块对所述候选框位置采样特征、 所述候选框交互特征和所述预测 候选框特征对应的连接特征进 行特征融合处理， 得到更新的预测候选框特征和更新的预测 候选框位置； 将所述更新的预测候选框特征和所述更新的预测候选框位置分别作为所述预测候选 框特征和所述预测候选框位置， 并迭代执行设定次数的上述步骤， 并在 迭代完成之后， 对最 后一次迭代得到的预测候选框特征与预测候选框位置进行解码， 得到所述多幅环视图像对权　利　要　求　书 1/3 页 2 CN 115171062 A 2应的目标检测框； 根据所述目标检测框， 确定所述目标 车辆周边的对象检测结果。 5.根据权利要求4所述的方法， 其特征在于， 所述调用所述投影模块将所述预测候选框 位置投影至所述多幅环视图像的多尺度特征图上， 得到所述预测候选框位置对应的投影位 置， 包括： 调用所述投影模块根据 所述多幅环视图像的多尺度 特征图对应的相机参数， 将所述预 测候选框位置投影至所述多尺度特 征图上， 得到所述预测候选 框位置对应的投影位置 。 6.一种对象检测模型训练方法， 其特 征在于， 包括： 将样本图像输入至待训练对象检测模型； 所述样本图像为采集的车辆的多幅环视图 像， 所述待训练对象检测模型包括： 三维属性检测层、 特征提取层、 候选框预测层和候选框 优化层； 调用所述特征提取层对所述样本图像进行特征提取处理， 得到所述样本图像在不同尺 度下的样本特 征图； 调用所述三维属性检测层对多幅所述不同尺度的样本特征图内的目标对象进行三维 属性检测处 理， 得到所述目标对象的预测对象属性； 调用所述候选框检测层对多幅所述不同尺度的样本特征图进行候选框预测处理， 得到 所述目标对象对应的预测候选 框特征和预测候选 框位置； 调用所述候选框优化层对预测候选框特征与所述多幅环视图像、 及不同预测候选框进 行信息迭代交 互处理， 得到所述目标对象对应的预测对象检测框； 根据所述预测对象属性、 所述预测候选框位置和所述预测对象检测框， 计算得到所述 待训练对象检测模型的损失值； 在所述损失值处于预设范围内的情况下， 将训练后的待训练对象检测模型作为最终的 对象检测模型。 7.根据权利要求6所述的方法， 其特征在于， 所述样本图像上标注有所述目标对象的真 实对象属性、 真实候选 框位置和真实检测结果， 所述根据所述预测对象属性、 所述预测候选框位置和所述预测对象检测框， 计算得到 所述待训练对象检测模型的损失值， 包括： 根据所述真实对象属性和所述预测对象属性， 计算得到所述三维属性检测层的第 一损 失值； 根据所述真实候选框位置和所述预测候选框位置， 计算得到所述候选框预测层的第 二 损失值； 根据所述预测对象检测框对应的对象预测结果和所述真实检测结果， 计算得到所述候 选框优化层的第三损失值； 根据所述第一损 失值、 所述第二损 失值和所述第三损 失值， 计算得到所述待训练对象 检测模型的损失值。 8.一种对象检测结果确定装置， 其特 征在于， 包括： 环视图像输入模块， 用于将采集的目标车辆的多幅环视 图像输入至对象检测模型； 所 述对象检测模型包括： 特 征提取层、 候选 框预测层和候选 框优化层； 特征图获取模块， 用于调用所述特征提取层对所述多幅环视 图像进行特征提取处理，权　利　要　求　书 2/3 页 3 CN 115171062 A 3