(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211311125.7 (22)申请日 2022.10.25 (71)申请人 杭州华橙软件技 术有限公司 地址 310051 浙江省杭州市滨江区长河街 道滨兴路1399号3号楼15层 (72)发明人 张诚成　马子昂　刘征宇　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 严翠霞 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 20/64(2022.01) G06V 20/70(2022.01) (54)发明名称 非限定类别障碍物检测方法、 相关 网络训练 方法及装置 (57)摘要 本申请公开了一种非限定类别障碍物检测 方法、 相关网络训练方法及装置， 其中， 非限定类 别障碍物检测方法包括： 基于双目相机获取到第 一检测图像和第二检测图像； 利用三维检测网络 对第一检测图像和第二检测图像进行网络学习 得到目标的类别信息、 目标在第一检测图像的位 置信息、 目标在第二检测图像的位置信息以及关 键点的位置坐标； 基于目标的类别信息确定计算 目标的三维位置信息； 利用目标在第一检测图像 的位置信息、 目标在第二检测图像的位置信息以 及关键点的位置坐标计算得到目标的三维位置 信息。 通过上述方法， 用于识别障碍物的位置和 类别。 权利要求书3页 说明书11页 附图6页 CN 115375985 A 2022.11.22 CN 115375985 A 1.一种三维检测网络训练方法， 其特征在于， 所述三维检测网络应用于非限定类别障 碍物的类别检测， 所述三维检测网络包括区域候选检测子网络， 所述三维检测网络训练方 法包括： 对双目相机拍摄到的第一图像和第二图像进行特征提取分别得到第一特征图和第二 特征图； 其中， 所述第一图像和所述第二图像为所述双目相 机针对同一 目标区域在不同采 集方向上采集到的两帧图像； 将所述第一特征图与 所述第二特征图进行特征融合， 并利用所述 区域候选检测子网络 对特征融合后的特征图进 行处理得到预设类别的第一目标候选区域， 以及其余类别的第二 目标候选区域； 基于所述第一目标候选区域与所述第二目标候选区域获得相同类别的目标候选区域 的第一余弦距离， 以及不同类别的目标候选区域的第二 余弦距离； 按照预设训练条件， 利用所述第 一余弦距离和所述第 二余弦距离对所述三维检测网络 进行训练。 2.根据权利要求1所述的三维检测网络训练方法， 其特 征在于， 所述预设训练条件为所述第 一余弦距离与 所述第二余弦距离的差值越来越小， 直至达 到训练阈值。 3.根据权利要求1或2所述的三维检测网络训练方法， 其特 征在于， 所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的 第一目标候选区域， 以及其 余类别的第二目标候选区域， 包括： 利用所述 区域候选检测子网络对特征融合后的特征图进行处理， 得到多个目标候选框 及其分类 类别、 分类得分； 将分类类别为预设类别， 且分类得分大于等于预设得分的目标候选框对应的区域， 标 记为所述预设类别的第一目标候选区域； 获取标记目标框； 将与所述标记目标框重叠率小于等于预设重叠率， 且分类得分大于等于预设得分的目 标候选框对应的区域， 标记为所述 其余类别的第二目标候选区域。 4.根据权利要求1所述的三维检测网络训练方法， 其特 征在于， 所述三维检测网络还 包括类别检测子网络； 所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的 第一目标候选区域， 以及其余类别的第二 目标候选区域之后， 所述三维检测网络训练方法 还包括： 将所述区域候选检测子网络输出的候选区域信 息与所述第 一特征图、 所述第 二特征图 进行融合， 得到第一融合特 征图； 将所述第一融合特 征图输入所述类别检测子网络； 利用所述类别检测子网络对所述第一融合特征图中的目标， 进行类别预设， 并按照预 设的类别给每个分类输出分配相应的能量值， 其中， 对预测为预设类别的分类输出分配第 一能量值， 对预测为其余类别的分类输出分配第二能量值， 所述第一能量值小于所述第二 能量值； 利用所有分配能量 值后的分类输出的总和， 对所述 三维检测网络进行训练。权　利　要　求　书 1/3 页 2 CN 115375985 A 25.根据权利要求1所述的三维检测网络训练方法， 其特 征在于， 所述三维检测网络还 包括位置回归子网络； 所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的 第一目标候选区域， 以及其余类别的第二 目标候选区域之后， 所述三维检测网络训练方法 还包括： 将所述区域候选检测子网络输出的候选区域信 息与所述第 一特征图、 所述第 二特征图 进行融合， 得到第二融合特 征图； 将所述第二融合特 征图输入所述 位置回归子网络； 利用所述位置回归子网络对所述第二融合特征图中的目标， 进行位置预设， 得到目标 的预测位置参数； 利用所述目标的预测位置参数和标记位置参数的差值， 对所述三维检测网络进行训 练。 6.根据权利要求1所述的三维检测网络训练方法， 其特 征在于， 所述三维检测网络还 包括关键点检测子网络； 所述利用所述区域候选检测子网络对特征融合后的特征图进行处理得到预设类别的 第一目标候选区域， 以及其余类别的第二 目标候选区域之后， 所述三维检测网络训练方法 还包括： 将所述区域候选检测子网络输出的候选区域信息与所述第一特征图和所述第二特征 图中的一个进行融合， 得到第三融合特 征图； 将所述第三融合特 征图输入所述关键点检测子网络； 利用所述关键点检测子网络对所述第三融合特征图中的目标， 进行关键点预设， 得到 目标的关键点 参数； 利用所述目标的关键点参数与目标位置框参数的差值， 对所述三维检测网络进行训 练。 7.根据权利要求1所述的三维检测网络训练方法， 其特征在于， 所述三维检测网络训练 方法还包括： 基于双目相机获取第一初始图像和第二初始图像； 利用所述第 一初始图像和所述第 二初始图像对所述双目相机进行标定， 以使所述双目 相机针对同一目标区域在不同采集方向采集到所述第一图像和所述第二图像。 8.一种非限定类别障碍物检测方法， 其特征在于， 所述非限定类别障碍物检测方法包 括： 基于双目相机获取到第一检测图像和第二检测图像； 利用三维检测网络对所述第一检测图像和所述第二检测图像进行网络学习得到目标 的类别信息、 目标在第一检测图像的位置信息、 目标在第二检测图像的位置信息以及关键 点的位置坐标； 其中， 所述三 维检测网络为采用权利要求 1‑7中任一项 所述的三 维检测网络 训练方法得到的三维检测网络； 基于所述目标的类别 信息确定计算所述目标的三维位置信息； 利用所述目标在第 一检测图像的位置信 息、 所述目标在第 二检测图像的位置信 息以及 所述关键点的位置坐标计算得到目标的三维位置信息； 所述三维位置信息包括所述目标的权　利　要　求　书 2/3 页 3 CN 115375985 A 3