(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210745389.7 (22)申请日 2022.06.28 (71)申请人 深圳市神州云海智能科技有限公司 地址 518000 广东省深圳市龙岗区横岗街 道四联社区228工业区四联工业村8号 101、 102、 201、 3 01 (72)发明人 谢水生　陈放　丁磊　柏晓乐　 (74)专利代理 机构 深圳众邦专利代理有限公司 44545 专利代理师 熊指挥 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/08(2006.01) G06F 16/29(2019.01) G06F 16/23(2019.01) (54)发明名称 基于边缘设备自监督学习的终端感知定位 方法及系统 (57)摘要 本申请公开了基于边缘设备自监督学习的 终端感知定位方法及系统， 属于人工智 能领域， 所述系统包括： 构建自监督特征检测 网络， 对图 像数据进行自监督学习特征挖掘， 获得自监督特 征， 构建局部地图， 基于局部地图、 自监督特征进 行跟踪运行， 插入关键帧， 并根据关键帧中的特 征生成特征路标点， 对局部地图的路标点进行更 新， 根据关键帧、 特征路标点进行自监督特征闭 环检测， 出现闭环后， 在全局地图优化及后处理 中调用全局优化对摄像头运动位姿轨迹、 关键 帧、 特征路标点的位置进行校正， 并在运行后对 全局地图进行更新、 感知定位地图保存。 解决了 存在地图特征识别效率低， 定位和全局地图精确 度低的技术问题。 达到了提高定位和地图构建同 步性的技术效果。 权利要求书3页 说明书10页 附图2页 CN 115115669 A 2022.09.27 CN 115115669 A 1.基于边 缘设备自监 督学习的终端感知定位方法， 其特 征在于， 包括： 构建自监 督特征检测网络； 基于边缘设备终端利用所述自监督特征检测网络对图像数据进行自监督学习特征挖 掘， 获得自监 督特征； 构建局部地图， 基于所述局部地图、 自监督特征进行跟踪运行， 插入关键帧， 并根据关 键帧中的特 征生成特 征路标点， 对所述局部地图的路标点进行 更新； 根据所述关键帧、 特 征路标点进行自监 督特征闭环检测； 若摄像头跟踪过程中出现了闭环， 在全局地图优化及后处理中调用全局优化对摄像头 运动位姿轨迹、 关键帧、 特征路标点的位置进行校正， 并在运行后对全局地图进行更新、 感 知定位地图保存， 其中， 所述全局 地图包括所有自监督特征在运行过程中生成的特征路标 点。 2.如权利要求1所述的方法， 其特征在于， 所述自监督特征检测网络包括输入层、 共享 特征提取层、 描述子网络层、 关键点网络层， 其中， 所述输入层与所述共享特征提取层连接， 通过共享特征提取层对输入图像进行特征张量提取， 将所述特征张量分别传输至所述描述 子网络层、 关键点网络层， 其中， 所述描述子网络层、 关键点网络层分别对所述特征张量进 行处理， 提取自监 督特征。 3.如权利要求2所述的方法， 其特征在于， 基于边缘设备终端利用所述自监督特征检测 网络对图像数据进行自监 督学习特 征挖掘， 获得自监 督特征， 包括： 输入图像数据， 对所述图像数据进行图像投影 变换， 获得投影图像； 对所述图像数据、 所述投影图像分别由孪生网络进行推理， 得到描述子张量； 基于所述图像数据、 所述投影图像的描述子张量进行正负样本挖掘融合， 获得训练样 本； 通过共享特征提取层对输入图像数据进行特征提取转换为特征张量， 将所述特征张量 供给关键点网络层、 描述子网络层； 所述关键点网络层对所述特 征张量进行关键点特 征识别处 理， 确定关键点 位置； 所述描述子网络层将所述特征张量转换为描述子张量， 对所述描述子张量进行双三 次 插值、 归一 化处理， 得到特 征点描述子； 根据所述关键点 位置和所述特 征点描述子， 得到所述自监 督特征。 4.如权利要求1所述的方法， 其特征在于， 构建局部地图， 基于所述局部地图、 自监督特 征进行跟踪运行， 插入关键帧， 并根据关键帧中的特征生 成特征路标点， 对所述局部地图的 路标点进行 更新， 包括： 获得关键帧判别要求； 基于所述关键帧判别要求确定关键帧， 通过局部地图构建线程对所述关键帧进行插 入； 将所述关键帧的特 征点作为特 征路标点插 入局部地图； 基于所述局部地图， 利用所述特征路标点投影至当前帧中寻找匹配特征点， 对局部地 图的关键帧进行 更新。 5.如权利要求4所述的方法， 其特征在于， 所述将所述关键帧的特征点作为特征路标点 插入局部地图之前， 包括：权　利　要　求　书 1/3 页 2 CN 115115669 A 2判断所述关键帧的特征点是否满足预设插入局部地图要求， 当满足时， 将所述关键帧 的特征点作为所述特 征路标点插 入所述局部地图； 当不满足时， 将所述关键帧的特 征点剔除。 6.如权利要求4所述的方法， 其特征在于， 基于所述局部地图， 利用所述特征路标点投 影至当前帧中寻找匹配特 征点， 对局部地图的关键帧进行 更新， 包括： 计算所述特征路标点投影到当前帧的位置， 判断投影位置是否超出图像边界， 当超出 时， 舍弃； 计算当前帧的视角向量与特征路标点观测视角向量之间的夹角， 若不满足预设要求， 则舍弃； 计算所述特 征路标点与当前帧摄 像头中心的距离， 若不在可视距离范围内， 则舍弃； 所述特征路标点与当前帧未匹配且三维坐标相近范围特征点之间匹配， 取距离最小的 作为新特征路标点； 确定新增的特 征路标点， 根据所述 新增的特 征路标点对位姿 进行优化。 7.如权利要求1所述的方法， 其特征在于， 根据所述关键帧、 特征路标点进行自监督特 征闭环检测， 包括： 所述自监督特征闭环检测包括场景识别模块、 闭环检测与融合线程， 通过场景识别模 块对最新关键帧在识别数据库中进行检测， 确定闭环候选帧； 通过对闭环候选帧位姿求解后进行BA优化， 若优化后的特征与特征路标点匹配成功， 确定为检测到闭环， 通过闭环检测与融合线程进行融合优化， 与关键帧匹配的转 为闭环帧。 8.如权利要求1所述的方法， 其特 征在于， 所述全局地图优化包括： (a)初始化状态空间数目num_x＝0num_x＝0,当进入到新的局部地图中时， 获得新的相 对转化结构 则令num_x＝1+num_x； (b)更新估计M矩阵， 通过由局部地图中每一个位姿间的相对置信度来构成的块对角矩 阵对M矩阵进行估计； (c)根据公式 计算梯度下降的方向向量Δx,判定Δx的值是否小于给 定的约束误差值a， 当满足时迭代结束； (d)当不满足时， 计算学习速率λ， 通过公式λ＝λ/(1+λ )对学习效率进行迭代， 实验中λ 的初值设置为1/ 3， 得到新的状态空间变量xi， 并令xi＝xi‑1+Δx； (e)判定相邻时刻局部地图间的限制代价f(x)的差值是否满足给定的误差b， 满足则迭 代结束； (f)当不满足时， 迭代次数加1， 转到步骤(b)中， 进行新的迭代求 解； (g)当达到迭代设定次数时结束优化 算法， 迭代结束。 9.基于边 缘设备自监 督学习的终端感知定位系统， 其特 征在于， 所述系统包括： 网络构建模块， 所述网络构建模块用于构建自监 督特征检测网络； 自监督特征获得模块， 所述自监督特征获得模块用于基于边缘设备终端利用所述自监权　利　要　求　书 2/3 页 3 CN 115115669 A 3