(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899199.0 (22)申请日 2022.07.28 (71)申请人 中铁工程装备集团有限公司 地址 450016 河南省郑州市经济技 术开发 区第六大街99号 (72)发明人 贾连辉　赵志成　林福龙　刘盼　 孟祥波　王昆　孙振亚　高博　 张发亮　陈建飞　 (74)专利代理 机构 郑州优盾知识产权代理有限 公司 41125 专利代理师 张彬 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 20/64(2022.01)G06T 7/73(2017.01) E21D 11/40(2006.01) G05B 19/05(2006.01) (54)发明名称 一种管片自动吊运方法及系统 (57)摘要 本发明公开了一种管片自动吊运方法及系 统， 解决了现有管片吊运方法定位精度较低且适 用范围较小的技术问题。 本发明通过机器视觉方 法能够快速识别出管片垛及其所属的管片类型、 管片定位标志和管片运输车放置标志； 通过构建 双目相机模型和管片结构参数矫正当前吊机是 否倾斜， 提升定位精度； 通过相机转换矩阵， 将特 征点坐标转化在同一个坐标系下计算对应修正 偏差， 提升 计算定位精度。 权利要求书3页 说明书9页 附图4页 CN 115272969 A 2022.11.01 CN 115272969 A 1.一种管片自动吊运方法， 其特 征在于包括以下步骤： A、 根据管片不同类别间几何特征建立管片类型数据库， 通过吊机上的双目相机采集的 图像及识别管片类型网络模型识别出 管片类型， 建立管片抓取顺序库； B、 通过所述双目相机采集的图像计算管片在相机坐标系下的高度值， 根据所述高度值 和对应管片结构参数对吊机当前位置进行矫 正， 记录吊机矫 正后的三维坐标值； C、 基于矫正后的吊机位置， 通过所述双目相机采集的管片图像与识别管片类型网络模 型来获取管片 定位孔的图像位置区域， 将图像位置区域的坐标转化为相机坐标系下的三 维 坐标， 通过特征评价函数对图像位置区域中的特征点进行评价， 获取管片定位孔的定位坐 标； D、 计算定位孔在相机坐标系下的坐标位置与吊机定位销在相机坐标系下的坐标位置 的偏差， 矫 正吊机当前姿态， 控制吊机 完成吊机 定位销与管片定位 孔配合。 2.根据权利要求1所述的管片自动吊运方法， 其特征在于： 在所述步骤A中， 根据不同类 型管片的几何特征建立管片 类型数据库， 吊机上的双目相机扫描不同管片垛中最上方的管 片， 将采集的管片图像输入 所述识别管片 类型网络模型， 获取对应管片 类型， 根据 识别出的 管片类型建立管片抓取顺序库且传输 于PLC中心控制系统。 3.根据权利要求2所述的管片自动吊运方法， 其特征在于： 在所述步骤B中， 基于所述管 片抓取顺序库， PLC中心控制系统控制吊机运动至目标管片上方， 吊机上的双目相机采集图 像， 计算左右两个相机的公共区域视差， 计算管片在相机坐标系下的高度值， 根据计算的高 度值和对应管片结构参数对吊机当前位置进行矫正， 若吊机当前位置超出倾斜允许范围， 则通过PLC中心控制系统矫正吊机位置， 并控制吊机下放至修正后的精确定位高度， 记录吊 机矫正后的三维坐标值。 4.根据权利要求1 ‑3任一项所述的管片自动吊运方法， 其特征在于： 在所述步骤C 中， 基 于矫正后的吊机位置， 左右两个相 机采集管片图像， 将采集的管片图像输入至目标识别网 络， 获取管片上左右两个定位孔的图像位置区域， 根据定位孔图像坐标和从PLC中心控制系 统处获取的双目相机距离管片高度， 将图像位置区域的坐标转化为相机坐标系下的三维坐 标， 通过特征评价函数对图像位置区域中的特 征点进行评价， 获取定位 孔的定位 坐标。 5.根据权利要求4所述的管片自动吊运方法， 其特征在于： 在所述步骤D中， 计算定位孔 在相机坐标系下 的坐标位置与吊机定位销在相机坐标系下 的坐标位置的偏差， 传入PLC中 心控制系统， PLC中心控制系统发送控制指令给 吊机， 矫正吊机当前姿态， 控制吊机完成吊 机定位销与管片定位 孔配合， 下放吊机 达到下降高度后， 吊机抓取 管片运输 至预定位置 。 6.根据权利要求5所述的管片自动吊运方法， 其特征在于： 在所述步骤C和步骤D中， 通 过相机模型计算管片 定位孔在相机坐标系下的坐标， 根据获取的特征点集计算初始的定位 孔中心坐标， 将初始的定位孔中心坐标和特征点集输入到特征评价函数， 对特征点进行评 价并获取最大值的特征点， 并根据获取 的特征点集计算定位孔精准的坐标值， 通过左右两 个相机变换矩阵， 将一侧的相 机坐标转换至另一侧相 机的坐标系 下， 所述偏差包括识别管 片定位目标相对于标定位的位置偏差[dx， dy]和旋转偏差[dr]， 计算公式如下： dr＝cos (V吊机 位， V标定 位)， dx， dy＝f(V吊机 位， V标定 位)。 7.根据权利要求6所述的管片自动吊运方法， 其特征在于： 所述预定位置为管片运输车 上的管片放置位置， 吊机抓取管片后且将管片吊运至管片放置位置前， 管片运输车定位相权　利　要　求　书 1/3 页 2 CN 115272969 A 2机采集当前管片运输车图像， 识别出管片运输车上管片放置位标志， 计算管片运输车放置 标志位在所述相机坐标系下的平面坐标PS[X， Y]， 将吊机的位置坐标和 管片运输车的位置 坐标转换至同一坐标系下， 计算吊机的位置和当前管片运输车的旋转偏差[dr]和水平偏差 [dx， dy]， 将偏差传输入PLC中心控制系统， 调整吊机的平面偏差[dx， dy]和旋转偏差[dr]， 完 成吊机矫正后， PLC中心控制系统PLC中心控制系统控制吊机将管片吊运至所述管片放置位 置， 吊机复位至待工作位。 8.根据权利 要求1‑3、 5‑7任一项所述的管片自动吊运方法， 其特征在于： 所述特征评价 函数为 其中K1和K2是可调参数， 根据不同的场景进行调整， 用于平衡距离评价和数据分布评 价； [Xi， Yi]为每一个特征点， [Xm， Ym]为识别的图像位置区域的几何中心点， [a， b]表示当前 特征点的图像坐标， g表示当前点的图像灰度值， n为当前特征点[Xi， Yi]相对于几何中心点 [Xm， Ym]距离分布的总特 征点数， N 为所有特 征点个数。 9.根据权利要求8所述的管片自动吊运方法， 其特征在于： 所述图像位置区域为包含目 标的矩形区域， 按照120度等差角度将所述图像位置区域划分为三个子区域， 从PLC中心控 制系统处获取双目相机距离管片高度， 分别将三个子区域图像坐标转化为相机坐标系下的 三维坐标， 通过特征评价函数D对每个特征点进行评价， 获取目标定位孔的定位坐标集合， 根据获取的三个子区域的特 征点拟合出圆心坐标， 即为目标定位 孔坐标。 10.根据权利要求9所述的管片自动吊运方法， 其特征在于： 所述识别管片类型网络模 型设计为目标识别网络结构Model1， 以卷积网络作为特征提取框架， 在识别管片类型时， 网 络提取的特征作为输入， 采用softmax分类器对特征进行分类， 获取当前管片所属 类型， 不 需要对管片标志 物进行位置回归， 只需要对目标类别进行识别。 11.根据权利要求10所述的管片自动吊运方法， 其特征在于： 在管片抓取定位和管片放 置定位时， 由于需要识别出管片孔和 管片运输车放置位 的图像坐标， 因此在所述Model1的 基础上， 将目标图像位置偏差加入到损失函数中构建Model2， 提取的特征输入至 目标分类 器和位置回归器中， 实现对目标物体分类和位置回归。 12.根据权利要求1 ‑3、 5‑7、 9‑11任一项所述的管片自动吊运方法， 其特征在于： 作 为使 用双目相机直接识别定位孔的并列技术方案， 在吊机底座安装面激光雷达来 获取当前场景 的点云， 通过管片 定位孔的几何特征识别定位孔； 或者在定位孔周围放置标识物， 通过识别 对应的标识 物， 间接识别定位 孔。 13.一种管片自动吊运系统， 其特征在于： 包括权利要求12所述的吊机、 双目相机、 管片 运输车定位相机， 所述吊机、 双目相机和管片运输车定位相机均与PLC中心控制系统相连， 所述PLC中心控制系统控制双目相机采集图像并通过识别管片 类型网络模型从管片类型数 据库中识别出目标管片类型， 所述PLC中心控制系统控制双目相机采集图像并通过特征评 价函数获取管片定位孔的定位坐标， PLC中心控制系统根据定位孔的定位坐标计算与吊机 定位销的坐标之间的偏差， PLC中心控制系统根据所述偏差矫正吊机姿态而完成吊机定位 销与管片定位 孔的配合。 14.根据权利要求13所述的管片自动吊运系统， 其特征在于： 所述双目相机设置在吊机权　利　要　求　书 2/3 页 3 CN 115272969 A 3