(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161561.4 (22)申请日 2022.02.22 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市中新广州知识 城九佛建 设路333号自编687室 (72)发明人 韩文韬　鲁赵晗　韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 胡安 (51)Int.Cl. G06T 7/12(2017.01) G06T 7/50(2017.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) (54)发明名称 图像深度标注方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能领域， 公开了一种图像 深度标注方法、 装置、 设备及存储介质， 该方法包 括： 对多帧相机图像对应的点云序列进行点云分 离， 得到对应的动态点云和静态点云； 将所有静 态点云变换至世界坐标系， 并进行处理， 得到对 应的背景点云； 对动态点云进行插值处理， 并将 插值处理处理后的动态点云与背景点云进行叠 加， 得到对应帧的稠密点云； 将稠密点云投影至 对应帧的相机图像的相机平面， 得到相机图像对 应的深度标注。 本发明的技术方案中针对图像深 度获取的难点， 通过对多帧点云数据进行点云分 离和叠加， 使得稀疏点云成为稠密点云， 进而使 得转换的深度图像中的深度数据稠密。 权利要求书2页 说明书11页 附图5页 CN 114926485 A 2022.08.19 CN 114926485 A 1.一种图像深度标注方法， 其特 征在于， 所述图像深度标注方法包括： 对多帧相机图像对应的点云序列进行点云 分离， 得到对应的动态点云和静态点云； 将所有所述静态点云变换至世界坐标系， 并进行处 理得到对应的背景点云； 对所述动态点云进行插值处理， 并将插值处理处理后的动态点云与 所述背景点云进行 叠加， 得到对应帧的稠密点云； 将所述稠密点云投影至对应帧的所述相机图像的相机平面， 得到所述相机图像对应的 深度标注。 2.根据权利要求1所述的图像深度标注方法， 其特征在于， 所述对多帧相机图像对应的 点云序列进行点云 分离， 得到对应的动态点云和静态点云包括： 将所述点云序列输入预设的障碍物检测与分割模型中， 通过所述障碍物检测与分割 模 型检测并分割 所述点云序列对应 帧中的障碍物轮廓， 并对所述障碍物轮廓进行语义标注， 得到对应的语义类型， 其中， 所述语义类型包括动态障碍物； 将所述点云序列中被语义类型为动态障碍物类型的障碍物轮廓包含的点云标记为动 态点云； 将所述点云序列中不被语义类型为动态障碍物类型的障碍物轮廓包含的点云标记为 静态点云。 3.根据权利要求2所述的图像深度标注方法， 其特征在于， 所述将所述点云序列输入预 设的障碍物检测与分割模型中， 通过所述障碍物检测与分割模型检测并分割所述点云序列 对应帧中的障碍物轮廓， 并对所述障碍物轮廓进行语义标注， 得到对应的语义类型包括： 将所述点云序列输入预设的障碍物检测与分割模型中， 其中， 所述障碍物检测与分割 模型分为特 征提取部分和语义分割部分； 通过所述障碍物检测与分割 模型中的特征提取部分获取输入的点云序列中n个点云的 d维特征作为局部特征， 并对所述局部特征进行分类和学习， 经过最大池化处理获得全局特 征； 通过所述障碍物检测与分割模型中的语义分割部分对所述局部特征和所述全局特征 进行拼接， 并通过多层的MLP进 行降维处理， 最 终对所述点云序列的各点云的语义类型进 行 预测。 4.根据权利要求1所述的图像深度标注方法， 其特征在于， 所述将所有所述静态点云变 换至世界坐标系， 并进行处 理， 得到对应的背景点云包括： 根据所述点云序列对应的激光雷达坐标系与所述世界坐标系之间的转换关系， 确定对 应的位姿转换矩阵； 根据所述 位姿转换矩阵将所有所述静态点云转换至世界坐标系上； 对变换至世界坐标系的所有静态点云进行处 理， 得到对应的背景点云。 5.根据权利要求4所述的图像深度标注方法， 其特征在于， 所述对变换至世界坐标系的 所有静态点云进行处 理， 得到对应的背景点云包括： 将变换至世界坐标系的所有静态点云进行叠加处 理， 得到叠加点云； 计算所述叠加点云中的各点云在非当前帧的邻域； 统计所述邻域中所有点云对应的语义类型， 并根据 所述领域中各点云的语义类型确定 所述邻域的中心点的语义类型；权　利　要　求　书 1/2 页 2 CN 114926485 A 2将所述邻域中与所述中心点的语义类型不同的点云进行 滤除， 得到对应的背景点云。 6.根据权利要求1所述的图像深度标注方法， 其特征在于， 所述对所述动态点云进行插 值处理， 并将插值处理处理后的动态点云与所述背景点云进行叠加， 得到对应 帧的稠密点 云包括： 构建所述动态点云对应的动态障碍物的三维平面； 对所述三维平面进行上采样， 得到采样点， 并根据所述采样点对所述动态点云进行插 值处理； 将插值处 理处理后的动态点云与所述背景点云进行叠加， 得到对应帧的稠密点云。 7.根据权利要求1 ‑6中任一项所述的图像深度 标注方法， 其特征在于， 所述将所述稠密 点云投影至对应帧的所述相机图像的相机平面， 得到所述相机图像对应的深度标注包括： 将所述稠密点云投影至对应帧的所述相机图像的相机平面； 计算所述稠密点云中的动态点云对应的各动态障碍物之间的遮挡关系； 根据所述遮挡关系将所述动态点云的深度值赋予投影的相机平面的对应的像素 上； 根据静态点云的深度值赋予投影的所述相机平面中未 赋予深度值的像素 上。 8.一种图像深度标注装置， 其特 征在于， 所述图像深度标注装置包括： 点云分离模块， 用于对多帧相机 图像对应的点云序列进行点云分离， 得到对应的动态 点云和静态点云； 静态处理模块， 用于将所有所述静态点云变换至世界坐标系， 并进行处理， 得到对应的 背景点云； 动态处理模块， 用于对所述动态点云进行插值处理， 并将插值处理处理后的动态点云 与所述背景点云进行叠加， 得到对应帧的稠密点云； 投影转换模块， 用于将所述稠密点云投影至对应帧的所述相机 图像的相机平面， 得到 所述相机图像对应的深度标注。 9.一种图像深度标注设备， 其特征在于， 所述图像深度标注设备包括： 存储器和至少一 个处理器， 所述存 储器中存 储有指令， 所述存 储器和所述至少一个处 理器通过线路互连； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述图像深度标注设备执 行如权利要求1 ‑7中任一项所述的图像深度标注方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器执行时实现如权利要求1 ‑7中任一项所述的图像深度标注 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114926485 A 3