(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070701.3 (22)申请日 2022.09.02 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 颜雪军　王晶晶　谢迪　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孙翠贤　刘洋 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/40(2022.01) G06V 10/82(2022.01) (54)发明名称 一种点云生成方法、 装置及自动驾驶装置 (57)摘要 本发明实施例提供了一种点云生 成方法、 装 置及自动驾驶装置， 涉及3D视觉技术领域。 其中， 一种点云生成方法， 包括： 获取针对目标对象的 初始点云的点云数据； 将所述初始点云的点云数 据输入预先训练完成的点云生 成网络， 得到所述 点云生成网络的输出结果； 利用所述输出结果， 确定针对所述目标对象的目标点云。 可见， 本方 案可以将高层网络学习得到的高层特征数据反 馈给低层网络， 以提升低层特征数据的语义表达 能力， 即， 可 以将高层网络学习到的高层语义信 息传递到低层网络， 参与低层特征数据的学习， 从而辅助低层特征数据进行学习， 导致低层特征 数据的语义表达能力得到提升， 最终提高生成点 云的质量， 即， 可 以提升生成点云的准确性及完 整性。 权利要求书4页 说明书22页 附图4页 CN 115375852 A 2022.11.22 CN 115375852 A 1.一种点云生成方法， 其特 征在于， 应用于电子设备， 所述方法包括： 获取针对目标对象的初始点云的点云数据； 将所述初始点云的点云数据输入预先训练完成的点云生成网络， 得到所述点云生成网 络的输出结果； 其中， 所述点云生成网络包括至少一个具有反馈功能的反馈子网络， 每一反 馈子网络用于利用获取到的输入内容进行点云特征学习， 得到输出内容， 在符合预定的输 出内容反馈条件时， 将当前 的输出内容作为反馈内容， 反馈至对应的指定子网络以使得对 应的指定子网络继续基于反馈内容进 行点云特征学习， 以及若存在下一子网络则 在符合预 定的输出内容传递条件时， 将当前的输出内容， 输入下一子网络； 其中， 任一反馈子网络对 应的指定 子网络包括： 该反馈 子网络和/或位于该反馈 子网络之前的子网络； 利用所述输出 结果， 确定针对所述目标对象的目标点云。 2.根据权利要求1所述的方法， 其特征在于， 在符合预定的输出内容反馈条件时， 将当 前的输出内容作为反馈内容， 反馈至对应的指 定子网络以使得对应的指定子网络继续基于 反馈内容进行点云特 征学习， 包括： 在针对输出内容的已反馈次数小于预设次数阈值时， 将当前的输出内容作为反馈内 容， 反馈至对应的指 定子网络以使得对应的指 定子网络继续基于反馈内容进 行点云特征学 习； 所述在符合预定的输出内容传递条件时， 将当前的输出内容， 输入下一子网络， 包括： 在该反馈子网络未向下一子网络传递过当前的输出内容时， 将当前的输出内容， 输入 下一子网络 。 3.根据权利要求2所述的方法， 其特征在于， 在符合预定的输出内容反馈条件时， 将当 前的输出内容作为反馈内容， 反馈至对应的指 定子网络以使得对应的指定子网络继续基于 反馈内容进行点云特 征学习， 包括： 在针对输出内容的已反馈次数小于预设次数阈值时， 将当前的输出内容作为反馈内 容， 反馈至对应的指 定子网络以使得对应的指 定子网络继续基于反馈内容进 行点云特征学 习； 所述在符合预定的输出内容传递条件时， 将当前的输出内容， 输入下一子网络， 包括： 在针对输出内容的已反馈次数小于预设次数阈值时， 将当前的输出内容， 输入下一子 网络。 4.根据权利要求2所述的方法， 其特征在于， 所述点云生成网络在训练过程中所生成的 输出结果包括每一时间步对应的输出 结果； 所述时间步 为按照时间顺序划分的处 理阶段； 每一时间步对应的输出结果为所述点云生成网络中的各个子网络分别利用 在该时间 步下所对应的数据内容进 行深度点云特征学习， 所生成的输出结果； 其中， 各个子网络中的 任一所述指定子网络， 在该时间步下所对应的数据内容至少包括该指 定子网络对应的内容 传输端的最新的输出内容， 以及该指 定子网络对应的反馈子网络在该时间步的上一时间步 的反馈内容， 各个子网络中的其他子网络对应的数据内容至少包括对应的内容传输端的最 新的输出内容； 其中， 所述点云生成网络中的任一子网络所对应的内容传输端位于该子网 络之前， 且用于向该子网络进行内容传输； 所述利用所述输出 结果， 确定针对所述目标对象的目标点云， 包括： 利用各个时间步中的时间最晚的时间步所对应的输出结果， 确定针对所述目标对象的权　利　要　求　书 1/4 页 2 CN 115375852 A 2目标点云。 5.根据权利要求4所述的方法， 其特征在于， 将所述初始点云的点云数据输入预先训练 完成的点云生成网络， 得到所述 点云生成网络的输出 结果之前， 所述方法还 包括： 获取所述点云生成网络在所述电子设备运行时的待利用时间步， 作为目标时间步； 其 中， 所述待利用时间步为各个时间步中的任一个， 且所述待利用时间步为基于所述电子设 备的设备种类和/或所述电子设备的可用的算力情况 所设定的； 将所述预设次数阈值的取值更新 为所述目标时间步在各个时间步中的次序值减1。 6.根据权利要求5所述的方法， 其特征在于， 基于所述电子设备的设备种类设定待利用 时间步的方式， 包括： 若所述电子设备为第 一设备种类的设备， 确定所述待利用时间步为各个时间步中的时 间最早的时间步； 若所述电子设备为第 二设备种类的设备， 确定所述待利用时间步为各个时间步中除时 间最早的时间步和时间最晚的时间步以外的任一时间步； 若所述电子设备为第 三设备种类的设备， 确定所述待利用时间步为各个时间步中的时 间最晚的时间步； 其中， 所述第一设备种类的设备、 第二设备种类的设备和第三设备种类的设备的算力 逐步增大。 7.根据权利要求4所述的方法， 其特征在于， 所述点云生成网络在训练完成后， 不同时 间步下所述点云生成网络所 具有的网络参数的参数值均相同。 8.根据权利要求1 ‑7任一项所述的方法， 其特征在于， 所述任一反馈子网络对应的指定 子网络具体用于每次接收到反馈内容时， 对当前接收到的反馈内容以及对应的内容传输端 的最新的输出内容进行融合处理， 并利用融合处理所得到的融合内容进行点云特征学习； 其中， 所述点云生成网络中的任一子网络所对应的内容传输端位于该子网络之前， 且用于 向该子网络进行内容传输 。 9.根据权利要求8所述的方法， 其特征在于， 所述对当前接收到的反馈 内容以及对应的 内容传输端的最 新的输出内容进行融合处 理， 包括： 针对对应的内容传输端的最新的输出内容中每一点， 在所述当前接收到的反馈内容的 各个点中， 确定该点对应的至少一个邻域点， 利用至少一个邻域点的特征数据和该点的特 征数据， 进行指定的特 征融合处 理， 得到该点的融合数据。 10.根据权利要求8所述的方法， 其特征在于， 所述对当前接收到的反馈内容以及对应 的内容传输端的最 新的输出内容进行融合处 理， 包括： 针对对应的内容传输端的最新的输出内容中的每一点， 计算所述当前接收到的反馈 内 容中的各个点对于该点的注意力权 重， 得到该点对应的相关性权 重矩阵； 针对对应的内容传输端的最新的输出内容中的每一点， 按照该点对应的相关性权重矩 阵， 对所述当前接 收到的反馈内容中的各个点的特征数据进行加权， 得到该点对应的待利 用特征数据， 将该点的特征数据与该点对应的待利用特征数据进行融合， 得到该点的融合 数据。 11.根据权利要求9所述的方法， 其特征在于， 针对对应的内容传输端的最新的输出内 容中每一点， 在所述当前接收到的反馈内容的各个点中， 确定该点对应的至少一个邻域点，权　利　要　求　书 2/4 页 3 CN 115375852 A 3