(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550233.3 (22)申请日 2022.05.20 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 魏晓旭　陈俊　张畅　秦天　韩雷　 王永圣　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 张璐 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种三维激光雷达和视觉融合的目标预测 方法 (57)摘要 本申请公开了一种三维激光雷达和视觉融 合的目标预测方法， 包括： 获取视觉摄像头和三 维激光雷达的坐标系映射关系； 获取图像数据， 根据图像数据得到多个目标物体的视觉目标信 息； 获取点云数据， 根据坐标系映射关系和点云 数据得到多个目标物体的点云目标信息； 将多个 目标物体的视觉目标信息与点云目标信息进行 匹配融合， 得到多个目标物体的综合目标信息； 根据目标物体的综合目标信息确定特定动态目 标， 并确定特定动态目标的预测运动轨迹。 本发 明通过对视觉信息和三维激光雷达点云信息进 行融合处理， 提高了特定动态目标的识别效率和 准确度； 通过对所述特定动态目标的轨迹预测， 可以提前确定车辆周围的安全隐患， 避免交通事 故的发生。 权利要求书2页 说明书10页 附图4页 CN 115205391 A 2022.10.18 CN 115205391 A 1.一种三维激光雷达和视 觉融合的目标 预测方法， 其特 征在于， 包括： 获取视觉摄像头和三维激光雷达的坐标系映射关系； 利用所述视觉摄像头获取图像数据， 根据 所述图像数据得到多个目标物体的视觉目标 信息； 利用所述三维激光雷达获取点云数据， 根据 所述坐标系映射关系和所述点云数据 得到 多个所述目标物体的点云目标信息； 将多个所述目标物体的视觉目标信 息与点云目标信 息进行匹配融合， 得到多个所述目 标物体的综合目标信息； 根据多个所述目标物体的综合目标信 息确定特定动态目标， 并确定所述特定动态目标 的预测运动轨 迹。 2.根据权利要求1所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 获取 视觉摄像头和三维激光雷达的坐标系映射关系， 包括： 对所述视觉摄像头进行标定， 利用标定后的视觉摄像头在不同角度采集预设棋盘格的 图像数据； 利用所述 三维激光雷达获取 所述预设棋盘 格的点云数据； 根据所述预设棋盘格的点云数据和图像数据对所述视觉摄像头和三维激光雷达进行 联合标定， 得到 视觉摄像头和三维激光雷达的坐标系映射关系。 3.根据权利要求1所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 利用 所述视觉摄像头获取图像数据， 根据所述图像数据得到目标物体的视 觉目标信息， 包括： 利用所述视 觉摄像头获取至少两帧图像数据； 根据所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别 信息。 4.根据权利要求3所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 根据 所述图像数据得到多帧所述图像数据中目标物体的尺寸信息和类别 信息， 包括： 将所述图像数据输入到预设的目标检测模型中， 得到二维 目标框和所述二维 目标框内 物体的尺寸信息和类别 信息； 利用预设的跟踪算法对所述二维目标框 内的物体进行跟踪， 对所述多帧图像数据中的 同一个目标物体进行 标记， 确定所述目标物体的尺寸信息和类别 信息。 5.根据权利要求3所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 根据 所述坐标系映射关系和所述 点云数据得到目标物体的点云目标信息， 包括； 根据所述坐标系映射关系， 将所述点云数据投影到所述视觉摄像头的图像坐标系中， 得到投影目标框； 将所述投影目标框 内的物体进行聚类和特征提取， 得到所述投影目标框内目标物体的 位置信息、 速度信息和方位信息 。 6.根据权利要求5所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 将所 述目标物体的视觉目标信息与点云目标信息进 行匹配融合， 得到所述目标物体的综合目标 信息， 包括： 对所述二维目标框 内和投影目标框进行匹配， 得到所述二维目标框和所述投影目标框 中的同一个目标物体； 对所述目标物体进行信息融合， 得到所述目标物体的位置信息、 方位信息、 速度信息、权　利　要　求　书 1/2 页 2 CN 115205391 A 2尺寸信息和类别 信息。 7.根据权利要求6所述的三维激光雷达和视觉 融合的目标预测方法， 其特征在于， 根据 多个所述目标物体的综合目标信息确定特定动态目标， 并确定所述特定动态目标的预测运 动轨迹， 包括： 根据多个所述目标物体的位置信息、 方位信息、 速度信息、 尺寸信息和类别信息， 确定 特定动态目标； 根据所述特定动态目标的位置信 息、 尺寸信 息和预设的目标跟踪算法对所述特定动态 目标的预测运动轨 迹进行预测。 8.一种三维激光雷达和视 觉融合的目标 预测装置， 其特 征在于， 包括： 标定模块， 用于获取视 觉摄像头和三维激光雷达的坐标系映射关系； 视觉目标信息获取模块， 用于利用所述视觉摄像头获取图像数据， 根据所述图像数据 得到多个目标物体的视 觉目标信息； 点云目标信息获取模块， 用于利用所述三维激光雷达获取点云数据， 根据所述坐标系 映射关系和所述 点云数据得到多个所述目标物体的点云目标信息； 融合模块， 用于将多个所述目标物体的视觉目标信息与点云目标信息进行匹配融合， 得到多个所述目标物体的综合目标信息； 预测模块， 用于根据多个所述目标物体的综合目标信息确定特定动态目标， 并确定所 述特定动态目标的预测运动轨 迹。 9.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器上存储有计算机程 序， 所述计算机程序被所述处理器执行时， 实现如权利要求 1‑7任一所述的三 维激光雷达和 视觉融合的目标 预测方法。 10.一种计算机可读存储介质， 其特征在于， 所述程序介质存储有计算机程序指令， 当 所述计算机程序指令被计算机执行时， 使计算机执行根据权利要求1 ‑7中任一所述的三维 激光雷达和视 觉融合的目标 预测方法。权　利　要　求　书 2/2 页 3 CN 115205391 A 3