(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210846173.X (22)申请日 2022.07.19 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 张小国　鲁添祎　蒋琬琪　王慧青　 邓奎刚　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 薛雨妍 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于单目相机的先验地图辅助室内定 位方法 (57)摘要 本发明提供了一种基于单目相机的先验地 图辅助室内定位方法。 该方法包括： S1获取无闭 环室内场景的先验点云地图； S2将已知的先验地 图进行语义 分割， 提取保留具有环 境语义信息的 局部点云， 形成精简的语义线特征定位地图； S3 从相机图像中提取二维线特征， 同时添加语义检 测进程， 对二维直线添加语义标签。 S4对于单帧 图像， 判断语义定位地图中线段的可见性， 将二 维线特征与在视野范围内且语义标签一致的三 维线段匹配； S5构建实时与先验地图匹配的优化 模型， 提高系统定位精度； 本方法解决了大范围 室内场景中难以依赖闭环修正累计误差作为位 姿优化依据的问题， 有效地提高了单目视觉定位 系统大范围室内定位结果的准确性。 权利要求书2页 说明书4页 附图1页 CN 115205560 A 2022.10.18 CN 115205560 A 1.一种基于单目相机的先验地图辅助室内定位方法， 其特 征在于， 包括以下步骤： S1获取无闭环室内场景的先验点云地图； S2将已知的先验地图进行语义分割， 提取保留具有环境语义信 息的局部点云并提取三 维线段， 形成精简的语义线特 征定位地图； S3从相机图像中提取二维线特征， 添加语义检测进程， 对二维线段添加语义标签并进 行筛选与合并； S4对于单帧图像， 判断语义定位地图中线段的可见性， 将二维线特征与在视野范围内 且语义标签一 致的三维线段匹配； S5构建实时地图和先验地图匹配的优化模型， 提高系统定位精度。 2.根据权利要求1所述的一种基于单目相机的先验地图辅助室内定位方法， 其特征在 于， 包括以下步骤： 所述步骤S2中， 利用高效语义分割模型RandLA ‑Net， 使用简单快速的随 机抽样方法来大幅降低点密度， 同时应用一个重新设计的LocalFeature聚合器来保留显著 的特征。 3.根据权利要求1所述的基于单目相机的先验地图辅助室内定位方法， 其特征在于， 所 述步骤S3中， 为了满足三 维直线的提取， 并获得更好的鲁棒性， 使用基于图像的三 维线段检 测方法提取线特 征。 4.根据权利要求1所述的基于单目相机的先验地图辅助室内定位方法， 其特征在于， 所 述步骤S3中， 使用M ‑LSD算法进行二维线特征检测， 同时添加语义检测线程， 为图像中的二 维线段添加语义标签， 两线程同时对RGB图像进行处 理。 5.根据权利要求1所述的基于单目相机的先验地图辅助室内定位方法， 其特征在于， 所 述步骤S4中， 依靠门框线端点的可见性， 分三种情况采用不同策略对三 维门框线进 行筛选； 具体的， 去除本帧中不在视野范围内的线 段； 提取门框线的端点， 此时分为三种情况采用不 同策略处 理： (1)两端点均在视野范围内， 则认为此门框线也在视野范围之内； (2)两端点中有一个处于视野范围内， 一个在视野范围以外； 保留在视野范围内的点Xi； 取二者的中点 若在视野范围内， 则保留线段 若未在视野范围 内， 则继续对新 生成的线段重复此 过程， 直到线段长度小于所设阈值； (3)两端点均不在视野范围内， 则认为此门框线不在视野范围。 6.根据权利要求5所述的基于单目相机的先验地图辅助室内定位方法， 其特征在于， 所 述步骤S4中， 筛选后将门边线L的两端点分别投影至图像平面中， 遍历所有视野 范围内的三 维门框线， 计算与二维门框线之间计算夹角 θ、 长度之差Δl和距离d， 找到满 足θ＜θ0， Δl＜ Δl0， d＜d0的二维‑三维匹配对； 完成与先验地图的匹配。 7.根据权利要求1所述的基于单目相机的先验地图辅助室内定位方法， 其特征在于， 所 述步骤S5中， 通过Ceres  Solver求解器迭代估计两个连续帧之间的运动， 构建匹配的优化 模型， 提高系统的定位精度， 具体如下； 最小化误差模型的过程， 即对误差模型中的目标函数求最优解的过程； 目标函数表示 如下；权　利　要　求　书 1/2 页 2 CN 115205560 A 2其中， 第一项为Marg边缘化残差部分， 第二项为滑动窗口中相邻帧间的IMU残差部分， 第三项为滑动窗口中特征点在相机下视觉重投影残差； χ为滑动窗口中所有的状态量， 为IMU预积分噪声项的协方差矩阵， 为视觉特征点观测噪声的协方差矩阵， 为二维‑三维语义线特 征的观测噪声的协方差矩阵； 二维‑三维匹配对所对应的误差项 可以表示 为： 其中二维门框线所在的直线方程为Ax+By+C＝0， 与 分别代 表先验的三维门框线投影至图像平面后的端点 坐标。权　利　要　求　书 2/2 页 3 CN 115205560 A 3