(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210690011.1 (22)申请日 2022.06.17 (71)申请人 感知信息科技(浙江)有限责任公司 地址 310051 浙江省杭州市滨江区月明路 560号正泰大厦1号楼13 06室 (72)发明人 孙杰　余佳骏　 (74)专利代理 机构 成都鱼爪智云知识产权代理 有限公司 513 08 专利代理师 孔婷 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/10(2017.01) G06T 17/05(2011.01) G06V 10/44(2022.01) G01C 21/00(2006.01) (54)发明名称 一种基于双目摄像头的视觉建图和定位方 法 (57)摘要 本发明提出了一种基于双目摄像头的视觉 建图和定位方法， 涉及计算机技术领域。 该方法 包括： 获取双目摄像头采集的双目图像帧序列， 对双目图像帧序列中的所有图像帧依次进行预 处理和特征提取， 得到各个图像帧的局部特征 点、 局部描述子和全局描述子。 对左帧图像和右 帧图像的局部特征点进行匹配， 得到图像特征点 匹配结果。 将所有左帧图像划分成多个第一锚点 组， 并搜索回环。 对双目摄像头的图像帧序列构 建点云地图。 导出构建完成的双目地图， 以供单 目相机定位。 该方法结合深度学习领域知识， 以 及视觉地图的构建方法和表达形式， 利用双目摄 像头构建全局一致地图， 生成双目地图后， 则可 使用单目相机进行实时的相机 定位。 权利要求书3页 说明书11页 附图7页 CN 115049731 A 2022.09.13 CN 115049731 A 1.一种基于双目摄 像头的视 觉建图方法， 其特 征在于， 包括如下步骤： 获取双目摄像头采集的双目图像帧序列， 对所述双目图像帧序列中的所有图像帧依次 进行预处理和特征提取， 得到各个图像 帧的局部特征点、 局部描述子和全局描述子， 其中， 所述双目图像帧序列中任一图像帧包括左帧图像和右帧图像； 按照预设特征匹配方法对所述左帧图像和所述右帧图像的局部特征点进行匹配， 得到 图像特征点匹配结果； 按照预设划分方法， 将所有左帧图像划分成多个第一锚点组， 并按照预设回环搜索方 法搜索回环， 得到任一第一锚点组对应的回环信息； 根据所述图像特征点匹配结果、 所有回环信 息， 以及各个图像帧的局部特征点、 局部描 述子和全局描述子， 对双目图像帧序列构建点云地图， 以构建双目地图。 2.根据权利要求1所述的基于双目摄像头的视觉建图方法， 其特征在于， 所述获取双目 摄像头采集的双目 图像帧序列， 对所述双目图像帧序列中的所有图像帧依次进行预处理和 特征提取， 得到各个图像帧的局部特 征点、 局部描述子和全局描述子的步骤 包括： 对所述双目图像帧序列中的所有图像帧使用YOLOv5模型进行图像分割处理后， 检测出 动态对象和静态对象的像素区域， 并根据所述动态对象和所述静态对象构建每个图像帧的 图像掩码， 其中， 所述静态对象在图像掩码中置1， 所述动态对象在图像掩码中置 0； 将每个图像帧的原 始图像和对应的图像掩码相乘， 得到新的图像帧； 对所述新的图像帧使用SuperPoint网络提取局部特征点和局部描述子， 并使用 NetVLAD网络提取全局描述子； 将各个图像帧的局部特 征点、 局部描述子和全局描述子保存至初始化文件中。 3.根据权利要求1所述的基于双目摄像头的视觉建图方法， 其特征在于， 所述按照预设 特征匹配方法对所述左帧图像和所述右帧图像的局部特征点进行匹配， 得到图像特征点匹 配结果的步骤 包括： 对同一时刻的左帧图像和右帧图像的局部特征点使用SuperGlue网络进行匹配， 对两 个相邻左帧图像的局部特 征点使用SuperGlue网络进行匹配， 得到图像特 征点匹配结果； 将所述图像特 征点匹配结果保存至初始化文件中。 4.根据权利要求1所述的基于双目摄像头的视觉建图方法， 其特征在于， 所述按照预设 划分方法， 将所有左帧图像划分成多个第一锚点组的步骤 包括： 将所有左帧图像按时间序列每预设数量帧分为初步锚点组 并将任一初步锚点组中的序列中间帧作为锚点帧， 将该初 步锚点组中的非锚点帧作为普通帧， 其中， 为第i组锚点帧序号， N为预设数量， 为第i 组普通帧序号 集合， Thi为第i组搜索阈值； 遍历所有初步锚点组， 对相邻两个初步锚点组的锚点帧的局部特征点使用SuperGlue 网络进行匹配得到第一匹配点数， 若所述第一匹配点数未超过第一阈值， 则时间较早的初 步锚点组独立为第一锚点组， 若所述第一匹配点数超过第一阈值， 则将两个初步锚点组合 并为一组得到第二锚点组， 取 所述第二锚点组中的序列中间帧作为 新的锚点帧； 重复上述 步骤， 直至构造 完成所有第一锚点组。 5.根据权利要求1所述的基于双目摄像头的视觉建图方法， 其特征在于， 所述按照预设权　利　要　求　书 1/3 页 2 CN 115049731 A 2回环搜索方法搜索回环， 得到任一第一锚点组对应的回环信息的步骤 包括： 针对第i组第一锚点组， 根据 该第一锚点组中所有图像帧的局部描述子和全局描述子， 确定该第一锚点组的检索阈值； 遍历第1组至第i ‑2组的第一锚点组， 通过所述检索阈值筛选和SuperGlue网络匹配筛 选， 搜索第二锚点帧构成回环的帧， 并记录回环信息和匹配情况； 将所有第一锚点组的信息和所述回环信息保存至回环文件内。 6.根据权利要求5所述的基于双目摄像头的视觉建图方法， 其特征在于， 所述针对第i 组第一锚点组， 根据该第一锚点组中所有图像 帧的局部描述子和全局描述子， 确定该第一 锚点组的检索阈值的步骤 包括： 计算该第一锚点组中普通帧图像全局描述子到锚点帧图像全局描述子的第 一距离， 并 取所有第一距离中的最大距离作为该第一锚点组检索阈值。 7.根据权利要求1所述的基于双目摄像头的视觉建图方法， 其特征在于， 根据 所述图像 特征点匹配结果、 所有回环信息， 以及各个图像帧的局部特征点、 局部描述子和全局描述 子， 对双目图像帧序列构建点云地图， 以构建双目地图的步骤 包括： 将初始左帧位姿设为单位阵， 计算初始左右两帧的相对位姿， 以此作为双目左右帧的 相对位姿， 同时恢复初始左右两帧的SuperPoint特征点的三维空间位置， 双目建图初始化 完成； 读取下一帧对象， 将局部三维地图点重投影至该帧对象内左右两帧进行特征点匹配得 到重投影匹配点， 根据PnP和双帧相对位姿关系， 确定该帧对象左帧位姿， 根据所述重投影 匹配点， 统计该帧对象 的共视帧关系， 若重投影匹配点数量低于第二阈值， 则将该帧对象设 为关键帧对象， 并根据该帧对 象左右帧匹配关系和左帧位姿计算新的三维地图点， 依 次针 对后续帧对象执 行上述步骤， 直至双目地图构建完成； 根据回环信息和地图共视帧信息， 剔除假阳性回环， 并对双目地图进行优化； 导出构建完成的双目地图， 所述双目地图包括关键帧SuperPoint特征点信息、 关键帧 位姿、 地图点 位置信息、 所有关键帧和地图点的连接关系信息、 所有锚点组信息 。 8.一种基于双目摄 像头的定位方法， 其特 征在于， 包括如下步骤： 获取双目摄像头采集的双目图像帧序列， 对所述双目图像帧序列中的所有图像帧依次 进行预处理和特征提取， 得到各个图像 帧的局部特征点、 局部描述子和全局描述子， 其中， 所述双目图像帧序列中任一图像帧包括左帧图像和右帧图像； 按照预设特征匹配方法对所述左帧图像和所述右帧图像的局部特征点进行匹配， 得到 图像特征点匹配结果； 按照预设划分方法， 将所有左帧图像划分成多个第一锚点组， 并按照预设回环搜索方 法搜索回环， 得到任一第一锚点组对应的回环信息； 根据所述图像特征点匹配结果、 所有回环信 息， 以及各个图像帧的局部特征点、 局部描 述子和全局描述子， 对双目图像帧序列构建点云地图， 以构建双目地图； 导出构建完成的双目地图， 以供 单目相机 定位。 9.根据权利要求8所述的基于双目摄像头的定位方法， 其特征在于， 所述导出构建完成 的点云地图， 以供 单目相机 定位的步骤 包括： 读取解析双目地图信息、 待定位的相机内参、 待定位单目图像帧；权　利　要　求　书 2/3 页 3 CN 115049731 A 3