(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210571271.7 (22)申请日 2022.05.24 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 方哲　张金艺　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/44(2022.01) G06T 7/246(2017.01) G06V 10/82(2022.01) G06T 19/00(2011.01) G06N 3/04(2006.01) (54)发明名称 一种MR场景中基于语义特征的定位系统与 方法 (57)摘要 本发明涉及一种面向MR场景基于语义特征 的定位系统与方法。 其系统由信息捕获单元、 预 处理单元、 计算单元和结果输出单元组成； 其方 法包括从信息捕获、 信息预处理、 定位计算到定 位结果输出的整个定位流程。 采用本发明， 将使 移动主体对MR场景中的高动态环境， 具备较好的 定位性能。 本发明具备应用场景灵活， 所需设备 成本可控等优点。 权利要求书2页 说明书5页 附图2页 CN 115170653 A 2022.10.11 CN 115170653 A 1.一种MR场景中基于语义特征的定位系 统， 其特征在于： 包括信息捕获单元(1)、 预处 理单元(2)、 计算单元(3)和结果输出单元(4)， 所述信息捕获单元(1)以有线或无线方式与 预处理单元(2)连接； 所述预处理单元(2)以有线方式与计算单元(3)连接； 所述计算单元 (3)以有线或无线方式与结果输出 单元(4)连接 。 2.根据权利要求1所述的MR场景中基于语义特征的定位系统， 其特征在于： 所述信 息捕 获单元(1)包括RGB ‑D相机模块(1.1)， 该模块以有 线或无线方式与预处 理单元(2)连接 。 3.根据权利要求1所述的MR场景中基于语义特征的定位系统， 其特征在于： 所述预处理 单元(2)包括语义特征提取模块(2.1)、 角点特征提取模块(2.2)、 深度点云滤波模块(2.3)； 其中， 语义特征提取模块(2.1)以有线 方式与计算单元(3)中语义对象识别模块(3.1)连接； 角点特征提取模块(2.2)、 深度点云滤波模块(2.3)分别以有线方式与计算单元(3)中主体 位姿估计模块(3.2)连接 。 4.根据权利要求1所述的MR场景中基于语义特征的定位系统， 其特征在于： 所述计算单 元(3)包括语义对象识别模块(3.1)、 主体位姿估计模块(3.2)、 定位轨迹存储模块(3.3)； 其 中， 语义对象识别模块(3.1)以有线方式与主体位姿估计模块(3.2)连接， 主体位姿估计模 块(3.2)以有线 方式分别与定位轨迹存储模块(3.3)以及结果输出单元(4)中的定位信息输 出模块(4.1)连接 。 5.根据权利要求1所述的MR场景中基于语义特征的定位系统， 其特征在于： 所述结果输 出单元(4)包括定位信息 输出模块(4.1)。 6.一种MR场景中基于语义特征的定位方法， 根据权利要求1所述的系统进行操作， 其特 征在于， 包括从信息捕获、 信息预处理、 定位计算到定位结果输出 的整个定位流程， 具体如 下： 1)使用信息捕获单元(1)中 的RGB‑D相机模块(1.1)捕获MR场景中的场景序列， 包括RGB 图像序列以及对应的场景深度点云数据集， 并向预处 理单元(2)发送数据； 2)预处理单元(2)中的语义特征提取模块(2.1)接收RGB图像序列数据， 该模块利用 Mask R‑CNN网络对RGB图像序列进行检测， 提取其中的语义特征， 通过掩膜标注出其中的语 义区域， 并基于计算单元(3)中的语义对象识别模块(3.1)对语义特征进行识别 标记， 标记 出MR场景中的动静态区域， 用于后续的位姿估计； 预处理单元(2)中的角点特征提取模块 (2.2)同样 接收RGB图像序列数据， 采用ORB角点特征提取算法对MR场景中的角点进行提取， 该角点特征在前后帧MR场景中能够被匹配到， 用于后续位姿估计， 并计算出移动主体在MR 场景中的移动与旋转量； 预 处理单元(2)中的深度点云滤波模块(2.3)对场景深度点云数据 集进行滤波处理， 去除深度点云数据集中的干扰点， 用于 辅助后续 位姿估计； 3)在计算单元(3)中， 语义对象识别模块(3.1)输出上述RGB图像中， 语义特征所在区域 的动静态属性， 结合预 处理单元(2)中， 角点特征提取模块(2.2)输出的角点特征、 深度点云 滤波模块(2.3)输出的深度点云序列， 利用主体位姿估计模块(3.2)进行位姿估计； 在主体 位姿估计模块(3.2)中， 会基于语义识别标记判断， 提取的角点特征是否位于MR场景中的语 义静态区域， 若判断结果为是， 则将提取的角点特征用于后续位姿估计， 若判断的结果为 否， 则角点特征位于MR场景中的语义动态区域内， 无法用于定位， 丢弃该特征点； 最终通过 MR场景中静态区域中的角点特征集与滤波后的深度点云数据集， 对移动主体位姿进行估 计， 计算出当前移动主体相对于上一时刻的平移量与旋转量； 在计算单元(3)中， 基于定位权　利　要　求　书 1/2 页 2 CN 115170653 A 2轨迹存储模块(3.3)， 对每一帧的位姿信息进行存储， 保存移动主体在MR场景中的历史位 姿； 4)基于结果输出单元(4)中的定位信息输出模块(4.1)， 在历史定位轨迹上， 累加主体 位姿估计模块计算出的当前位姿， 输出当前移动主体在MR场景中的定位信息 。权　利　要　求　书 2/2 页 3 CN 115170653 A 3