(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343503.3 (22)申请日 2022.04.02 (71)申请人 合众新能源 汽车有限公司 地址 314500 浙江省嘉兴 市桐乡市梧桐街 道同仁路98 8号 (72)发明人 曹旭东　赵天坤　陈泽　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/10(2022.01) G06V 10/44(2022.01) G06T 7/73(2017.01) G06T 7/579(2017.01) (54)发明名称 室内停车场 的语义地图构建及定位方法和 装置 (57)摘要 本发明公开了一种室内停车场 的语义地图 构建及定位方法和装置， 涉及室内定位技术领 域。 该方法包括： 获取车辆运行过程中采集的原 始图像， 原始图像至少包括前视原始图像； 将原 始图像拼接为鸟瞰图； 对鸟瞰图进行语义分割处 理， 得到具有语义特征的分割图像； 对前视原始 图像进行特征提取， 得到立柱特征， 对鸟瞰图进 行特征提取， 得到车位角点特征； 根据语义特征、 立柱特征和车位角点特征， 生成语义地图， 计算 车辆在语义地图中的位姿； 根据车辆在语义地图 中的位姿， 对语义地图进行非线性优化； 根据优 化后的语义地图、 多帧相邻的鸟瞰图及对应的里 程计信息， 优化车辆在语义地图中的位姿。 该方 法基于纯视觉的特征建图， 成本低， 鲁棒性高， 应 用场景广泛。 权利要求书3页 说明书9页 附图6页 CN 114863096 A 2022.08.05 CN 114863096 A 1.一种室内停车场的语义 地图构建及定位方法， 其特 征在于， 包括： 获取车辆运行 过程中采集的原 始图像， 所述原 始图像至少包括前视原 始图像； 将所述原 始图像拼接为鸟瞰图； 对所述鸟瞰图进行语义分割处 理， 得到具有语义特 征的分割图像； 对所述前视原始图像进行特征提取， 得到立柱特征， 以及对所述鸟瞰图进行特征提取， 得到车位角点特 征； 根据所述语义特征、 所述立柱特征和所述车位角点特征， 生成语义地图， 并计算所述车 辆在所述语义 地图中的位姿； 根据所述车辆在所述语义 地图中的位姿， 对所述语义 地图进行非线性优化； 根据优化后的语义地图、 多帧相邻的鸟瞰图及与 所述多帧相邻的鸟瞰图对应的里程计 信息， 约束优化所述车辆在所述语义 地图中的位姿。 2.根据权利要求1所述的方法， 其特征在于， 获取车辆运行过程中采集的原始图像包 括： 获取安装在车辆上的前视鱼眼相机采集的原始图像， 所述前视鱼眼相机采集的原始图 像为前视原 始图像； 或 获取安装在车辆上的前视针孔相机和安装在所述车辆周围的至少一个鱼眼相机采集 的原始图像， 所述前视针孔相机采集的原 始图像为前视原 始图像； 将所述原 始图像拼接为鸟瞰图包括： 将所述前视鱼眼相机采集的前视原 始图像拼接为鸟瞰图； 或 将所述至少一个鱼眼相机采集的原 始图像拼接为鸟瞰图。 3.根据权利要求1所述的方法， 其特征在于， 根据所述语义特征、 所述立柱特征和所述 车位角点特 征， 生成语义 地图， 并计算所述车辆在所述语义 地图中的位姿包括： 将所述语义特征在鸟瞰图坐标系中的坐标投影到世界坐标系中， 将所述立柱特征在相 机坐标系中的坐标 投影到世界坐标系中， 将所述车位角点特征在鸟瞰图坐标系中的坐标 投 影到世界坐标系中； 根据所述语义特征、 所述立柱特征和所述车位角点特征在世界坐标系中坐标， 生成语 义地图； 获取里程计信息； 根据所述里程计信息， 计算得到所述车辆由上一时刻到当前时刻的位移量； 根据所述车辆上一 时刻在所述语义地图中的位姿和所述位移量， 确定所述车辆当前时 刻在所述语义 地图中的位姿。 4.根据权利要求1所述的方法， 其特征在于， 根据所述车辆在所述语义地图中的位姿， 对所述语义 地图进行非线性优化包括： 根据所述车辆在所述语义地图中的位姿， 在所述语义地图中搜索所述车辆附近的语义 特征； 将搜索到的语义特征投影到所述分割图像中， 确定所述语义特征在所述分割图像 中的 投影位置；权　利　要　求　书 1/3 页 2 CN 114863096 A 2确定搜索到的语义特 征在所述分割图像中的观测位置； 将所述语义特征的投影位置与观测位置之间的误差作为第 一约束关系， 约束优化所述 语义地图。 5.根据权利要求4所述的方法， 其特征在于， 所述多帧相邻的鸟瞰图包括当前帧和所述 当前帧的相邻帧； 根据优化后的语义地图、 多帧相邻的鸟瞰图及与 所述多帧相邻的鸟瞰图对应的里程计 信息， 约束优化所述车辆在所述语义 地图中的位姿包括： 将所述相邻帧的语义特征通过变换关系投影到所述当前帧， 确定投影误差， 将所述投 影误差作为第二约束关系； 根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息， 确定里程计误 差， 将所述里程计误差作为第三约束关系； 根据所述第一约束关系、 所述第二约束关系和所述第三约束关系， 约束约束优化所述 车辆在所述语义 地图中的位姿。 6.一种室内停车场的语义 地图构建及定位装置， 其特 征在于， 包括： 图像获取模块， 用于获取车辆运行过程中采集的原始图像， 所述原始图像至少包括前 视原始图像； 图像拼接模块， 用于将所述原 始图像拼接为鸟瞰图； 语义分割模块， 用于对所述鸟瞰图进行语义分割处 理， 得到具有语义特 征的分割图像； 图像检测模块， 用于对所述前视原始图像进行特征提取， 得到立柱特征， 以及对所述鸟 瞰图进行 特征提取， 得到车位角点特 征； 地图重建模块， 用于根据 所述语义特征、 所述立柱特征和所述车位角点特征， 生成语义 地图， 并计算所述车辆在所述语义 地图中的位姿； 优化模块， 用于根据所述车辆在所述语义地图中的位姿， 对所述语义地图进行非线性 优化； 根据优化后的语义地图、 多帧相邻的鸟瞰图及与所述多帧相邻的鸟瞰图对应的里程 计信息， 约束优化所述车辆在所述语义 地图中的位姿。 7.根据权利要求6所述的装置， 其特 征在于， 所述优化模块还用于： 根据所述车辆在所述语义地图中的位姿， 在所述语义地图中搜索所述车辆附近的语义 特征； 将搜索到的语义特征投影到所述分割图像中， 确定所述语义特征在所述分割图像 中的 投影位置； 确定搜索到的语义特 征在所述分割图像中的观测位置； 将所述语义特征的投影位置与观测位置之间的误差作为第 一约束关系， 约束优化所述 语义地图。 8.根据权利要求7所述的装置， 其特征在于， 所述多帧相邻的鸟瞰图包括当前帧和所述 当前帧的相邻帧； 所述优化模块还用于： 将所述相邻帧的语义特征通过变换关系投影到所述当前帧， 确定投影误差， 将所述投 影误差作为第二约束关系； 根据所述相邻帧对应的里程计信息和所述当前帧对应的里程计信息， 确定里程计误权　利　要　求　书 2/3 页 3 CN 114863096 A 3