(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210134640.6 (22)申请日 2022.02.14 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 周杰　李健　邓磊　陈宝华　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 杜月 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双目图像的舱门坐标计算方法和 装置 (57)摘要 本发明公开了一种基于双目图像的舱门坐 标计算方法和装置， 其中， 该方法包括： 采集双目 图像； 将双目图像输入第一神经网络模型进行第 一特征提取， 通过边界回归得到舱门区域子图； 将舱门区域子图输入第二神经网络模型进行第 二特征提取， 并对舱门区域子图的每个像素点做 逻辑回归 得到舱门门缝边缘图； 基于舱门门缝边 缘图提取边缘点的坐标， 计算得到舱门的两个二 维坐标点； 基于两个二维坐标点， 通过三角化计 算得到舱门的两个三维坐标点。 本发 明能够准确 计算飞机舱门相对于廊桥的坐标， 并引导廊桥自 动对接到飞机舱门上， 极大地提升机场的自动化 程度， 具有较强的理论 意义和实用价 值。 权利要求书2页 说明书6页 附图3页 CN 114708422 A 2022.07.05 CN 114708422 A 1.一种基于双目图像的舱门坐标计算方法， 其特 征在于， 包括以下步骤： 采集双目图像； 将所述双目图像输入第 一神经网络模型进行第 一特征提取， 通过边界回归得到舱门区 域子图； 将所述舱门区域子图输入第 二神经网络模型进行第 二特征提取， 并对所述舱门区域子 图的每个像素点做逻辑回归得到舱门 门缝边缘图； 基于所述 舱门门缝边缘图提取边 缘点的坐标， 计算得到舱门的两个二维坐标点； 基于所述两个二维坐标点， 通过三角化计算得到舱门的两个三维坐标点。 2.根据权利要求1所述的方法， 其特征在于， 构建训练图像库， 训练得到所述第一神经 网络模型； 构建训练数据库， 训练得到所述第二神经网络模型。 3.根据权利要求1所述的方法， 其特 征在于， 在得到所述 舱门门缝边缘图之后， 还 包括： 通过边缘点采样， 得到所述 舱门门缝边缘图的舱门 门缝边缘点； 通过边缘点分类， 将所述边缘点分为上、 下、 左、 右四类， 通过带权重的最小二乘模块计 算得到四个曲线方程； 使用所述四个曲线方程构建全局曲线拟合 误差。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述舱门门缝边缘图提取边缘点 的坐标， 计算得到舱门的两个二维坐标点， 包括： 基于所述舱门门缝边缘图， 使用所述边缘点分类分别提取左边缘点集、 右边缘点集和 下边缘点集； 使用ransac将所述左边缘点集和右边缘点集拟合为两条二次曲线， 将所述下边缘点集 拟合为直线； 分别计算所述两条二次曲线与所述 直线的交点， 得到所述 舱门的两个二维坐标点。 5.根据权利要求4所述的方法， 其特征在于， 所述双目图像包括第 一双目图像和第 二双 目图像， 所述基于所述两个二维坐标点， 通过三角化得到舱门的两个三维坐标点， 包括： 预设计算得到的所述第一双目图像的两个二维坐标点分别为 所 述第二双目图像的的两 个二维坐标点分别为 预设双目相机的焦距为 f， 基线为B， 分别计算所述第一双目图像和所述第二双目图像的两个坐标点的深度值 为： 预设所述双目相机的内参矩阵为K， 分别计算所述第一双目图像和所述第二双目图像 的两个点的三维坐标为： 6.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 将采集的所述双目图像 进行缩放和裁 剪， 并输入所述第一神经网络模型。 7.根据权利要求1所述的方法， 其特征在于， 使用舱门的左边缘和 右边缘的延长线与舱 门下边缘的延长线相交形成的两个交点作为所述 舱门的两个二维坐标点。 8.一种基于双目图像的舱门坐标计算装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114708422 A 2采集模块， 用于采集双目图像； 第一提取模块， 用于将所述双目图像输入第一神经网络模型进行第一特征提取， 通过 边界回归得到舱门区域子图； 第二提取模块， 用于将所述舱门区域子 图输入第二神经网络模型进行第二特征提取， 并对所述 舱门区域子图的每 个像素点做逻辑回归得到舱门 门缝边缘图； 第一计算模块， 用于基于所述舱门门缝边缘图提取边缘点的坐标， 计算得到舱门的两 个二维坐标点； 第二计算模块， 用于基于所述两个二维坐标点， 通过三角化计算得到舱门的两个三维 坐标点。 9.根据权利要求8所述的装置， 其特征在于， 还包括： 第 一训练模块， 用于构建训练图像 库， 训练得到所述第一神经网络模型； 第二训练模块， 用于构建训练数据库， 训练得到所述 第二神经网络模型。 10.根据权利要求8所述的装置， 其特 征在于， 所述第二 提取模块， 还 包括： 采样模块， 用于通过边 缘点采样， 得到所述 舱门门缝边缘图的舱门 门缝边缘点； 分类模块， 用于通过边缘点分类， 将所述边缘点分为上、 下、 左、 右四类， 通过带权重的 最小二乘模块计算得到四个曲线方程； 拟合模块， 用于使用所述四个曲线方程构建全局曲线拟合 误差。权　利　要　求　书 2/2 页 3 CN 114708422 A 3