(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210582679.4 (22)申请日 2022.05.26 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 王立力　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 黄河 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/58(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/05(2011.01) (54)发明名称 用于自动驾驶汽 车的地形检测方法、 系统及 可读存储介质 (57)摘要 本发明具体涉及用于自动驾驶汽车的地形 检测方法、 系统及可读 存储介质。 所述方法包括： 从目标车辆的多个角度获取地面的图像数据和 三维点云数据； 通过目标车辆各个角度的图像数 据结合航迹数据计算车身运动姿态； 对各个角度 的三维点云数据进行点云筛选， 生成对应的预处 理点云数据； 通过目标车辆的车身运动姿态对各 个角度的预处理点云数据进行拼接， 生成地面三 维点云； 对 各个角度的图像数据进行材质识别和 分割， 得到地面材质分割图像； 基于地面三维点 云和地面材质分割图像进行环 境重建， 生成地面 三维场景。 本发 明还公开了一种地形检测系统及 可读存储介质。 本发明的地形检测方法及系统能 够提高地形检测的可靠性和实用性。 权利要求书4页 说明书15页 附图3页 CN 114842438 A 2022.08.02 CN 114842438 A 1.用于自动驾驶汽车的地形检测方法， 其特 征在于， 包括以下步骤： S1： 从目标 车辆的多个角度获取地 面的图像数据和三维点云数据； S2： 通过目标 车辆各个角度的图像数据结合 航迹数据计算车身运动姿态； S3： 对各个角度的三维点云数据进行点云筛 选， 生成对应的预处 理点云数据； S4： 通过目标车辆的车身运动姿态对各个角度的预处理点云数据进行拼接， 生成地面 三维点云； S5： 对各个角度的图像数据进行 材质识别和分割， 得到地 面材质分割图像； S6： 基于地 面三维点云和地 面材质分割图像进行环境重建， 生成地 面三维场景。 2.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特 征在于， 还 包括： S7： 基于地面材质分割图像提取可通行区域和障碍物信息， 进而通过路径规划算法计 算可通行的线路作为避障行驶路径。 3.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S2中， 具 体包括如下步骤： S201： 对各个角度的图像数据进行 特征提取， 得到对应的图像特 征点； S202： 通过图像特 征点和目标 车辆的航迹数据， 结合视 觉里程计算法估计相机位姿； S203： 通过预设的外参矩阵将相机位姿转换为对应的车身位姿； S204： 对各个角度的车身位姿态进行融合， 生成目标 车辆的车身运动姿态。 4.如权利要求3所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S204中， 通过卡尔曼 滤波器对融合后的车身位姿态进行 滤波处理。 5.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S3中， 具 体包括如下步骤： S301： 对各个角度的图像数据进行语义分割， 得到对应的图像 语义信息； S302： 对各个角度的三维点云数据进行语义分割， 得到对应的点云语义信息； S303： 将图像 语义信息与点云语义信息进行映射， 获得每 个点云的实际语义信息； S304： 基于点云的实际语义信息进行点云的筛选、 删除和填充， 得到对应的预处理点云 数据。 6.如权利要求5所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S302中， 通过对三维点云数据进行 逐点预测、 点聚合和点 集聚合的方式完成语义分割。 7.如权利要求5所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S303中， 通过将图像语义信息和点云语义信息对应的外参矩阵和内参矩阵进行级联的方式,  实现 图像语义信息 到点云语义信息的映射。 8.如权利要求5所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S304中， 通过点云补洞算法实现点云的筛 选、 删除和填充。 9.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S4中， 具 体包括如下步骤： S401： 将各个角度的预处 理点云数据转换到同一 坐标系下； S402： 从预处 理点云数据中提取点云特 征点对各个角度的预处 理点云数据进行配准； S403： 基于车身运动姿态计算对应的变换矩阵， 通过变换矩阵对配准后的预处理点云 数据进行拼接， 生成地 面三维点云。权　利　要　求　书 1/4 页 2 CN 114842438 A 210.如权利要求9所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S401中， 通过目标车辆在世界坐标系下的位姿变换矩阵和相机外参矩阵级联获得当前相机坐标系 到世界坐标系下的变换矩阵， 进 而通过变换矩阵将预处 理点云数据投影到世界坐标系下。 11.如权利要求9所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S402中， 通过正态分布变换算法对预处 理点云数据进行配准。 12.如权利要求9所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S403中， 通过半径滤波算法对拼接后的预处 理点云数据进行 滤波平滑处理。 13.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S5 中， 将 图像数据输入经过训练的材质识别模型中进 行材质识别和分类， 并将输出的预测语义分割 图像作为 地面材质分割图像。 14.如权利要求13所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S5中， 选用深度网络模型作为材质识别模型； 通过如下步骤训练深度网络模型： S501： 构建训练数据集， 训练数据集中包括人工标注了地 面材质的训练图像； S502： 将训练图像输入深度网络模型中， 输出对应的预测语义分割图像； S503： 通过预测语义分割图像结合损失函数对深度网络模型进行监 督训练； S504： 重复步骤S5 02至S503， 直至深度网络模型收敛。 15.如权利要求14所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S503 中， 损失函数为Focal  loss、 IOUloss和MM‑SSIM之和组成的混合损失函数。 16.如权利要求14所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S501 中， 地面材质的类型包括 草地、 砂石地、 水面、 雪地、 砖石和道路。 17.如权利要求1所述的用于自动驾驶汽车的地形检测方法， 其特征在于： 步骤S6 中， 先 基于当前时刻的地面三维点云和地面三 维点云的历史数据生成完整的地面三 维点云， 然后 通过完整的地 面三维点云和地 面材质分割图像进行静态的环境重建， 得到地 面三维场景。 18.用于自动驾驶汽车的地形检测系统， 其特征在于： 基于权利要求1中所述的用于自 动驾驶汽车的地形检测方法实施， 包括： 多个三维视觉采集模块， 安装于目标车辆上， 用于从多个角度获取地面的图像数据和 三维点云数据； 三维视觉采集模块包括用于采集图像数据的颜色系统相 机、 用于采集三维 点云数据的三维深度相机， 以及用于对图像数据进行 预处理的边缘计算模块； 车载处理模块， 用于通过各个角度的图像数据结合目标车辆的航迹数据， 计算目标车 辆的车身运动姿态； 其次对三 维点云数据进 行点云筛选， 生成对应的预处理点云数据； 再通 过目标车辆的车身运动姿态结合三维深度相机的外部参数对各个角度的预处理点云数据 进行拼接， 生成地面三 维点云； 然后基于各个角度的图像数据进 行材质识别和分类， 得到地 面材质分割图像； 最后基于地面三维点云和地面材质分割图像进行环境重建， 生成对应的 地面三维场景。 19.如权利要求18所述的用于自动驾驶汽车的地形检测系统， 其特征在于： 通过如下步 骤修正三维深度相机的外 部参数： 对各个角度的图像数据进行 特征提取， 得到对应的图像特 征点； 对图像特 征点进行 特征匹配， 获得 各个角度之间的位姿转换关系；权　利　要　求　书 2/4 页 3 CN 114842438 A 3