(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210196264.3 (22)申请日 2022.03.01 (71)申请人 无锡雪浪数制科技有限公司 地址 214000 江苏省无锡市经济开发区金 融一街1号昌兴国际金融大厦6楼 (72)发明人 王峰　顾炳斌　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 孙建 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/64(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01)G06V 10/75(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度相机与机器视觉的海缆排缆 间隙识别方法 (57)摘要 本发明公开了一种基于深度相机与机器视 觉的海缆排缆间隙识别方法， 该方法包括以下步 骤： S1、 采用深度相机对海 缆进行成像， 获取三维 深度图像模型； S2、 提取所述深度图像模型的点 云数据； S3、 利用聚类算法对所述点云数据进行 聚类， 筛选 出海缆之间的缝隙； S4、 将三维图像模 型转换得到缝隙的二维平面图； S5、 构建缝隙分 类神经网络， 通过深度学习分类算法对海缆缝隙 进行分类； S6、 利用机器视觉算法计算缝隙的大 小； S7、 将缝隙大小返回至自动化机构进行海缆 自动排缆。 通过采用深度相机与机器视觉的海缆 间隙识别方法， 能够在昏暗场景下生成深度图 像， 来表征海缆的深度信息， 从而实现间隙的精 确检测捕捉， 满足了自动化需求。 权利要求书2页 说明书6页 附图1页 CN 114648694 A 2022.06.21 CN 114648694 A 1.一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其特征在于， 该方法包括 以下步骤： S1、 采用深度相机对 海缆进行成像， 获取三维深度图像模型； S2、 提取所述深度图像模型的点云数据； S3、 利用聚类算法对所述 点云数据进行聚类， 筛 选出海缆之间的缝隙； S31、 对所述 点云数据进行 特征提取， 获取 特征区域； S32、 采用聚类算法对所述特征区域进行识别， 并通过与预设的标准模板进行匹配， 从 而获取海缆边缘区域， 具体匹配的算法如下： 基于匹配系数R(k， xi)确定特征区域与标准模 板中的匹配程度， 其中， Xi为点xi周围的点集 合， km为预设的标准模板中第 m个标准点， M为预设的标准模板中标准点的总数量， xn为xi的 周围n点之一， 而xn‑xi代表两点之间的距离， σ 为标准方差； S33、 对所述海缆 边缘区域进行处 理得到边 缘线； S34、 利用形态学方法将断开的边缘区域进行连通， 形成具备缝隙的闭合三维海缆边缘 区域图像； S4、 将三维图像模型转换 得到缝隙的二维平面图； S41、 读取 所述点云数据中特 征区域顶点的法向量、 主曲率； S42、 将三维图像模型分割为若干三角片， 采用埃尔米特插值法获取各所述三角片顶点 之间的直线， 通过若干直线绘制所述海缆边缘区域图像的轮廓线， 所述埃尔米特插值法获 取各所述三角片顶点之间的直线计算公式为： val(t)＝[2(val0‑val1)+d0+d1]×t3+[3(val1‑val0)‑2d0‑d1]×t2+d0×t+val0； 其中， val(t)表示三角片V0顶点、 三角片V1顶点的点积 的过零点， 表示三角 片三个顶点的法线， 表示三角片 三个顶点的视线， t表示插值参数且t∈[0， 1]， val0表示V0 顶点的点积， val1表示V1顶点的点积， d0和d1分别表示V0顶点与V1顶点的视投影方 向上的曲 率一阶导数； S43、 获取与视点相关的特 征线； S44、 将视点相关的特 征线进行连接绘制， 构成高清的二维平面图； S5、 构建缝隙分类神经网络， 通过深度学习分类算法对 海缆缝隙进行分类； S6、 利用机器视 觉算法计算缝隙的大小； S7、 将缝隙大小返回至自动化机构进行海缆自动排 缆。 2.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其 特征在于， 所述 提取所述深度图像模型的点云数据， 包括以下步骤： S21、 对所述深度图像模型中的原 始点云数据进行去噪处 理； S22、 采用二 值化算法对所述深度图像模型进行目标识别处 理， 得到目标图像数据； S23、 根据 所述目标图像数据中各像素的坐标值， 从所述原始点云数据中提取出目标点 云数据； S24、 对所述目标点云数据进行去噪处 理， 得到最终的点云数据。 3.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其权　利　要　求　书 1/2 页 2 CN 114648694 A 2特征在于， 所述采用聚类算法对所述特 征区域进行识别， 包括以下步骤： S321、 预设聚类参数组合列表， S322、 以待提取对象当前 特征区域的特 征点作为聚类的数据集进行聚类初始化； S323、 通过聚类算法对数据集进行聚类， 得到所有簇的集 合； S324、 根据统计数据得到的集 合进行删除处 理， 剔除集 合中不属于特 征区域的簇； S325、 采用集 合中删除处 理后的簇对特 征区域进行 更新， 形成海缆 边缘区域。 val(t)＝[2(val0‑val1)+d0+d1]×t3+[3(val1‑val0)‑2d0‑d1]×t2+d0×t+val0 4.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其 特征在于， 所述构建缝隙分类神经网络， 通过深度学习分类算法对海缆缝隙进 行分类， 包括 以下步骤： S51、 对所述 二维平面图中的缝隙标注位置信息； S52、 提取 所述二维平面图中预设尺寸且位置信息连续的图像样本， 并标注分类标签； S53、 构建缝隙分类神经网络， 利用由图像样本组成的训练集进行训练， 形成缝隙分类 模型； S54、 将待分类的海缆二维平面图切割成多个预设尺寸的测试图像块， 并将所述测试图 像块输入缝隙分类模型， 检测所述测试图像块中缝隙边 缘， 并输出 缝隙对应的分类标签； S55、 输出分类完成后的二维缝隙图像。 5.根据权利要求4所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其 特征在于， 所述缝隙分类神经网络为目标检测模型。 6.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其 特征在于， 所述利用机器视 觉算法计算缝隙的大小包括以下步骤： S61、 对相机进行 标定， 获取相机的比例因子； S62、 在所述 二维缝隙图像中设置第一目标区域， S63、 确定缝隙的粗略像素宽度， 并以所述粗略像素宽度中线确定当前二维缝隙图中的 第二目标区域； S64、 对所述第二目标区域进行图像增 强， 并进行边界检测， 得到所述第二目标区域边 界的像素宽度值； S65、 计算缝隙的宽度值。 7.根据权利要求6所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法， 其 特征在于， 所述计算缝隙的宽度值的计算公式为： yreal(n)＝D0‑(ya(n)+yd(n)‑d/2) D(n)＝SCALE *yreal(n)； 其中， yreal(n)表示缝隙的像素宽度， D0表示二维缝隙图像的宽度， d表示第二 目标区域 的宽度， D(n)表示缝隙的实际宽度， SCALE表示相机的比例因子， ya(n)表示缝隙的粗略像素 宽度， yd(n)缝隙的像素宽度。权　利　要　求　书 2/2 页 3 CN 114648694 A 3