(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211190932.8 (22)申请日 2022.09.28 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 刘慧　徐婕　沈跃　王秀丽　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 胡德水 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种融合密集连接机制和PointNet++的3D 点云分类分割方法 (57)摘要 本发明公开了一种融合密集连接机制和 PointNet++的3D点云分类分割方法， 包括： 步骤 1， 使用两个设计的密集集合采样层模块提取输 入点云底层和高层的全局特征以及局部特征， 其 中， 密集集合采样层模块主要是由采样层、 分组 层以及特征提取层组成； 步骤2， 利用密集集合采 样层模块得到的全局特征以及全连接网络获取 每个类的预测分数， 并根据最高的预测分数确定 输入点云的类别； 步骤3， 利用反向插值方法将最 后一层采样点的特征传播至原始点云的所有点， 并以跳跃连接的方式将传播的特征与步骤1中得 到的全局特征和局部特征进行融合， 再利用全 连 接网络得到点云中每个点的预测分数， 实现分割 任务。 本发明在PointNet++模型基础上进行改 进， 以提高模型分类以及分割性能。 权利要求书2页 说明书5页 附图1页 CN 115527032 A 2022.12.27 CN 115527032 A 1.一种融合密集连接机制和PointNet++的3D点云分类分割方法， 其特征在于， 包括以 下步骤： 步骤1， 使用两个设计的密集集合采样层模块提取输入点云底层和高层的全局特征以 及局部特 征， 其中， 密集 集合采样层模块主 要是由采样层、 分组层以及特 征提取层组成； 步骤2， 利用 密集集合采样层模块得到的全局特征以及全连接网络获取每个类的预测 分数， 并根据最高的预测分数确定 输入点云的类别； 步骤3， 利用反 向插值方法将最后一层采样点的特征传播至原始点云的所有点， 并以跳 跃连接的方式将传播的特征与步骤1中得到的全局特征和局部特征进行融合， 再利用全连 接网络得到点云中每 个点的预测分数， 实现分割任务。 2.根据权利要求书1所述的一种融合密集连接机制和 PointNet++的3D点云分类分割方 法， 其特征在于： 所述 步骤1具体包括： 步骤1.1， 设定输入的包含N个点的点云集合为 每个点包含(x, y,z)三维坐标； 步骤1.2， 使用第一个密集 集合采样层模块获取点云的底层的全局特 征以及局部特 征； 步骤1.3， 使用第二个密集 集合采样层模块获取点云的高层的全局特 征以及局部特 征。 3.根据权利要求书2所述的一种融合密集连接机制和 PointNet++的3D点云分类分割方 法， 其特征在于： 所述的步骤1.2具体过程如下： 步骤1.2.1， 在采样层中使用最远距离采样法从原 始点云中采样512个点作为采样点； 步骤1.2.2， 在分组层中将步骤1.2.1得到的采样点作为 中心点， 并在半径为0.2范围内 距离每个中心点最近的32个点作为邻居点， 当邻居点的个数小于32时， 则重复第一个点坐 标； 步骤1.2.3， 使用密集PointNet层作为特征提取层提取点云局部特征信息， 密集 PointNet层中的多层感知器每一层的输入是之前所有输出层的特征拼接形式， 并对步骤 1.2.2中划分出的区域 提取出点云的局部特 征； 步骤1.2.4， 使用密集PointNet层提取点云全局特征。 密集PointNet层直接提取步骤 1.2.1采样得到的所有点的特 征作为点云的全局特 征。 4.根据权利要求书2所述的一种融合密集连接机制和 PointNet++的3D点云分类分割方 法， 其特征在于： 所述的步骤1.3具体过程如下： 步骤1.3.1， 使用最远距离采样法从第一个密集集合采样层模块中的512个点采样128 个点； 步骤1.3.2， 在分组层中将步骤1.3.1得到的采样点作为 中心点， 并在半径为0.4范围内 距离每个中心点最近的64个点作为邻居点， 当邻居点的个数小于64时， 则重复第一个点坐 标； 步骤1.3.3， 使用密集PointNet层提取点云局部特征， 密 集PointNet层中 的多层感知器 每一层的输入是之前所有输出层的特征拼接形式， 密集PointNet层对步骤1.3.2中划分出 的区域提取出点云的局部特 征； 步骤1.3.4， 使用密集PointNet层提取点云全局特征， 密集PointNet层直接提取步骤 1.3.1采样得到的所有点的特 征作为点云的全局特 征。权　利　要　求　书 1/2 页 2 CN 115527032 A 25.根据权利要求书1所述的一种融合密集连接机制和 PointNet++的3D点云分类分割方 法， 其特征在于： 所述的步骤2具体过程如下： 步骤2.1， 将步骤1.2.4以及步骤1.3.4获取到 的点云底层特征与点云的高层特征进行 拼接； 步骤2.2， 将步骤2.1拼接得到的点云全局特征输入全连接 网络获取k个类的预测分数， 预测分数最高的类则是输入点云的类别， 为了防止过拟合， 全连接网络中添加dr opout率为 0.4的dropout层。 6.根据权利要求书1所述的一种融合密集连接机制和 PointNet++的3D点云分类分割方 法， 其特征在于： 所述的步骤3具体过程如下： 步骤3.1， 利用反向插值方法将第二个密集集合采样层模块中获取的全局特征进行上 采样点特 征传播， 并使用跳跃 连接的方式将步骤1.3.3得到的局部特 征进行拼接； 步骤3.2， 利用一个卷积核为1 ×1的卷积对获得的点云特 征进行更新； 步骤3.3， 利用反向插值方法将步骤3.2得到的点云特征进行上采样点特征传播， 并使 用跳跃连接的方式将步骤1.2.3与步骤1.2.4得到的全局特 征与局部进行拼接； 步骤3.4， 利用一个卷积核为1 ×1的卷积对获得的点云特 征进行更新； 步骤3.5， 利用反向插值方法将步骤3.4得到的点云特征进行上采样点特征传播， 得到 原始点云中所有点对应的特 征； 步骤3.6， 利用一个卷积核为1 ×1的卷积对获得的点云特 征进行更新； 步骤3.7， 利用全连接网络得到点云中每一个点的预测分数， 并根据 预测分数确定每个 点的类别， 实现分割任务。权　利　要　求　书 2/2 页 3 CN 115527032 A 3