(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211352837.3 (22)申请日 2022.11.01 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 蔡俊杰　杨建忠　夏德国　钟开　 张通滨　卢振　黄际洲　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 严慧 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01)G01C 21/32(2006.01) G01C 21/00(2006.01) (54)发明名称 多模态融合的高精地图要素识别方法、 装 置、 设备及 介质 (57)摘要 本公开提供了一种多模态融合的高精地图 要素识别方法、 装置、 设备及介质， 涉及人工智能 和计算机视觉领域， 具体涉及自动驾驶、 高精地 图， 以及智 能交通领域， 可应用于高精地图制作 场景。 该方法包括： 基于目标地图要素的点云数 据和至少两种候选图像数据， 确定目标地图要素 的属性特征、 像素配准特征和混合配准特征； 根 据目标地图要素的像素配准特征确定目标地图 要素的像素对应 关系， 并根据目标地图要素的混 合配准特征确定目标地图要素的混合对应关系； 基于像素对应关系和混合对应关系对目标地图 要素的属性特征进行融合处理得到目标地图要 素的融合特征， 并基于目标地图要素的融合特征 确定目标地图要素的要素类别。 本公开能提高地 图要素识别的准确性。 权利要求书4页 说明书14页 附图5页 CN 115410173 A 2022.11.29 CN 115410173 A 1.一种多模态融合的高精地图要素识别方法， 所述方法包括： 基于目标地图要素的点云数据和至少两种候选图像数据， 确定所述目标地图要素的属 性特征、 像素配准特 征和混合配准特 征； 根据所述目标地图要素的像素配准特征确定目标地图要素的像素对应关系， 并根据 所 述目标地图要素的混合配准特 征确定目标地图要素的混合对应关系； 基于所述像素对应关系和所述混合对应关系， 对所述目标地图要素的属性特征进行融 合处理得到目标地图要素的融合特征， 并基于所述目标地图要素的融合特征确定所述目标 地图要素的要素类别。 2.根据权利要求1所述的方法， 其中， 所述根据所述目标地图要素的像素配准特征确定 目标地图要素的像素对应关系， 并根据所述目标地图要素的混合配准特征确定目标地图要 素的混合对应关系， 包括： 从所述至少两种候选图像数据选择目标图像数据； 基于所述目标地图要素的像素配准特征， 将所述目标图像数据与除所述目标图像数据 之外的其 他候选图像数据进行配准， 得到目标地图要素的像素对应关系； 基于所述目标地图要素的混合配准特征， 将所述目标图像数据与所述点云数据进行配 准， 确定目标地图要素的混合对应关系。 3.根据权利要求2所述的方法， 其中， 所述从所述至少两种候选图像数据选择目标图像 数据， 包括： 根据所述候选图像数据关联的设备标定参数， 确定所述候选图像数据的配准参考等 级； 基于所述配准 参考等级， 从所述至少两种候选图像数据中确定目标图像数据。 4.根据权利要求2所述的方法， 其中， 基于所述目标地图要素的像素配准特征， 将所述 目标图像数据与除所述目标图像数据之外的其他候选图像数据进 行配准， 得到目标地图要 素的像素对应关系， 包括： 基于所述目标地图要素的像素配准特征， 对所述目标地图要素在所述目标图像数据中 的像素坐标， 以及所述目标地图要素在除所述目标图像数据之外的其他候选图像数据中的 像素坐标进行配准， 得到所述目标地图要素的像素对应关系。 5.根据权利要求2所述的方法， 其中， 基于所述目标地图要素的混合配准特征， 将所述 目标图像数据与所述 点云数据进行配准， 确定目标地图要素的混合对应关系， 包括： 基于所述目标地图要素的混合配准特征， 将所述目标地图要素在所述目标图像数据中 的像素坐标， 与所述 目标地图要素在所述点云数据中的点云坐标进行配准， 得到所述 目标 地图要素的混合对应关系。 6.根据权利要求1所述的方法， 其中， 基于目标地图要素的至少两种候选 图像数据， 确 定所述目标地图要素的像素配准特 征， 包括： 根据所述至少两种候选图像数据， 确定所述目标地图要素的关键像素； 根据所述关键像素的像素 特征， 确定所述目标地图要素的像素配准特 征。 7.根据权利要求1所述的方法， 其中， 基于目标地图要素的点云数据和至少两种候选图 像数据， 确定所述目标地图要素的混合配准特 征， 包括： 确定所述至少两种候选图像数据关联的设备 标定参数；权　利　要　求　书 1/4 页 2 CN 115410173 A 2根据所述设备标定参数、 所述目标地图要素在所述至少两种候选图像数据中的像素坐 标， 以及所述 目标地图要素在所述点云数据中的点云坐标， 确定所述 目标地图要素 的混合 配准特征。 8.根据权利要求1所述的方法， 其中， 基于所述像素对应关系和所述混合对应关系， 对 所述目标地图要素的属性特 征进行融合处 理得到目标地图要素的融合特 征， 包括： 基于所述像素对应关系， 从属于所述候选图像数据的属性特征中确定所述目标地图要 素的至少两种属性特 征； 基于所述混合对应关系， 在属于所述点云数据的属性特征中确定所述目标地图要素的 属性特征； 对属于所述候选图像数据的所述属性特征和属于所述点云数据的所述属性特征进行 融合处理。 9.根据权利要求1所述的方法， 所述方法还 包括： 根据所述 点云数据， 确定所述目标地图要素的要素位置； 根据所述混合对应关系， 将所述要素位置关联目标地图要素的要素类别； 根据所述目标地图要素的要素位置和要素类别， 生成高精地图。 10.根据权利要求1所述的方法， 其中， 所述目标地图要素为车道线。 11.根据权利要求1所述的方法， 其中， 所述候选图像数据包括融合图像、 全景图像和工 业相机图像中的至少两种。 12.一种多模态融合的高精地图要素识别装置， 所述装置包括： 要素特征确定模块， 用于基于目标地图要素的点云数据和至少两种候选 图像数据， 确 定所述目标地图要素的属性特 征、 像素配准特 征和混合配准特 征； 对应关系确定模块， 用于根据 所述目标地图要素的像素配准特征确定目标地图要素的 像素对应关系， 并根据所述目标地图要素的混合配准特征确定目标地图要 素的混合对应关 系； 特征融合模块， 用于基于所述像素对应关系和所述混合对应关系， 对所述目标地图要 素的属性特征进 行融合处理得到目标地图要 素的融合特征， 并基于所述目标地图要素的融 合特征确定所述目标地图要素的要素类别。 13.根据权利要求12所述的装置， 其中， 所述对应关系确定模块， 包括： 目标图像选择子模块， 用于从所述至少两种候选图像数据选择目标图像数据； 像素对应关系确定子模块， 用于基于所述目标地图要素的像素配准特征， 将所述目标 图像数据与除所述目标图像数据之外的其他候选图像数据进 行配准， 得到目标地图要 素的 像素对应关系； 混合对应关系确定子模块， 用于基于所述目标地图要素的混合配准特征， 将所述目标 图像数据与所述 点云数据进行配准， 确定目标地图要素的混合对应关系。 14.根据权利要求13所述的装置， 其中， 所述目标图像选择子模块， 包括： 配准参考等级确定单元， 用于根据所述候选 图像数据关联的设备标定参数， 确定所述 候选图像数据的配准 参考等级； 目标图像选择单元， 用于基于所述配准参考等级， 从所述至少两种候选 图像数据中确 定目标图像数据。权　利　要　求　书 2/4 页 3 CN 115410173 A 3