(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210202326.7 (22)申请日 2022.03.03 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦珠南路3 0号 (72)发明人 程明　朱振　 (74)专利代理 机构 南京灿烂知识产权代理有限 公司 323 56 专利代理师 赵丽 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01) G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种在视觉SLAM前端去除动态特征点的方 法 (57)摘要 本发明公开了一种在视觉SLAM前端去除动 态特征点的方法， 属于计算机视觉技术领域。 该 方法主要是通过将YOLOv5目标检测算法与传统 视觉SLAM前端相结合， 通过深度相机采集环境图 像信息， 对采集到的RGB图像进行ORB特征提取的 同时， 对其进行目标检测， 对检测出的物体分为 动态物体和静态物体两类， 筛选并剔除仅存在于 动态物体框内的特征点。 之后， 计算相邻两帧之 间匹配对的场景流模值， 建立高斯混合模型， 进 一步分离场景中动态物体和静态物体， 剔除剩余 的动态特征点。 剩余的静态特征点用于特征匹配 并估计相机位姿。 利用本 方法在ORBSLA M2前端进 行测试， 大大提升了其在动态环境中的定位精 度， 且能够满足 实时性要求。 权利要求书2页 说明书7页 附图3页 CN 114565675 A 2022.05.31 CN 114565675 A 1.一种在视 觉SLAM前端 去除动态特 征点的方法， 其特 征在于， 包括如下步骤： Step1： 使用深度相机获取彩色和深度图像， 对采集到的RGB图像均匀化提取ORB特征 点， 并使用目标检测算法获取边界框检测结果； Step2： 将边界框检测结果分类， 分为动态物体和静态物体并对其建立集合， 筛选出仅 存在于动态 物体检测框内的特 征点并剔除； Step3： 计算剩余特征点相邻帧间场景流， 根据场景流计算结果筛选出剩余动态特征点 并剔除； Step4： 利用剩下的静态特征点进行特征匹配， 得到最佳匹配特征点并进行相机位姿估 计， 得到准确的相机运动结果， 从而实现准确的面向动态场景 下的视觉SLAM。 2.根据权利要求1所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step1中， 均匀化提取ORB特征点的方法如下： 首先构建图像金字塔模型， 即对原始的RGB图 像用高斯卷积核进 行高斯模糊处理， 然后对其进 行降采样， 依次将原始的RGB图像分成若干 个层， 在各个层上进行FAST角点的提取， 然后计算图像金字塔每层需要提取的特征点数量 Nα， 公式如下： 式(1)中， N代表设置的各层的总特征点数量， α 代表当前层数， s代表图像金字塔各层的 图像的缩放因子， l代表图像金字塔总层数， 其次对构建的图像金字塔每一层都均匀的划分 出30×30像素的格子， 单独对每个格子提取FAST角点， 如果有格子提取不到FAST角点则降 低FAST阈值， 从而保证一些纹理较弱的区域也可以提取到FAST角点； 最后对于提取到的大 量FAST角点， 使用基于四叉树的方法， 均匀的选取Nα个FAST角点。 3.根据权利要求1所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step1中， 目标检测算法包括以下内容： 当获取到深度相机采集到的RGB图像后， 使用Y OLOv5 网络模型对输入的RBG图像进行目标检测， 在YOLOv5网络模型中新增Focus结构对RBG图像 进行切片操作， 输入一个3 ×608×608像素的RBG图像， 经过切片操作后， 变成12 ×304×304 像素的特征图， 最后使用32个卷积核进行一次卷积， 变成32 ×304×304像素的特征图； YOLOv5网络模型在Backbone和Neck中使用了两种不同的CSP； 在Backbone中， 使用带有残差 结构的CSP1_X， 在Neck中使用CSP2_X， 将YOLOv5网络模型的主干网络的输出分成了两个分 支， 后将其concat， 使YOLOv5网络对输入图像的特征的融合能力得到加强， 使其输出带有边 界框检测结果的边界框位置以及顶点 坐标， 以便 于后续对提取的特 征点进行分类。 4.根据权利要求1所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step2中， 剔除动态特 征点的方法如下： 将边界框检测结果按照动态物体和静态物体分类， 假设输入YOLOv5网络模型的第N帧 RGB图像的动态物体像素点集合为： 静态物体像素点集合为 其中 为第N帧图像中的动态物体检测框， 即边界框内的第i个像 素点， 为第N帧图像中的静态 物体检测框内的第j个像素点； 第N帧图像中提取到的特 征点 集合为 其中 为第N帧图像中的第k个特征点； 若 且权　利　要　求　书 1/2 页 2 CN 114565675 A 2则判断该 特征点为动态特 征点并从集 合 中删除。 5.根据权利要求1所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step3中， 剩余特 征点相邻帧间场景流的计算方法如下： 对相邻两帧图像， 根据Step1方法提取出特征点， 并进行特征匹配， 记录匹配成功的特 征点并标记该 特征点在前后两帧图像中的位置； 根据匹配的前后两帧RGB图像中特征点位置， 在 depth图中找到同一特征点的深度值， 记当前帧特征点三维坐标为(xc， yc， zc)， 与之匹配的前一帧图像特征点三维坐标为(xp， yp， zp)， 则特征点在当前帧与上一帧的三维位置变化即场景流 为： 6.根据权利要求5所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step3中， 根据场景流计算结果筛 选出剩余动态特 征点并剔除的方法如下： 依据上述计算得到的匹配成功的特征点对场景流计算其模值c和角度θ， 利用高斯混合 模型的方法得到各特征点的高斯值Gp， 将高斯值Gp大于一定阈值Go的特征点记为动态特征 点， 计入集 合Df＝{p|Gp＞G0}， p代表Gp＞Go的特征点， Go计算公式如下： 式(3)中： n为特征点个数； Hk为使用加权平均法对每一个特征点构造的评价指标， 计算 公式为： 式(4)中： ck为第k个特征点对应的场景流模值， θk为第k个特征点 对应的场景流角度， 根据上述内容， 可 得特征点p的状态为： 即对于特征点p， 若其高斯值Gp＞Go， 则判断其为动态特征点， 计入集合Df＝{p|Gp＞G0} 并剔除， 反 之则为静态特 征点计入集 合Sf＝{p|Gp＜G0}。 7.根据权利要求6所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， Step4中， 特征匹配与位姿估计的方法如下： 基于上述提取到的静态特征点， 对相邻关键帧 间特征点做特征匹配； 在特征匹配中， 使用RANSAC算法对错误数据进行过滤； RANSAC算法中 评估的模型就是帧间的位姿估计， 在位姿估计求解时， 通过不断地将错误匹配设置为局外 点， 配合位姿求解算法， 得到最优的位姿估计。 8.根据权利要求4所述的一种在视觉SLAM前端去除动态特征点的方法， 其特征在于， 动 态物体包括人、 猫、 狗。权　利　要　求　书 2/2 页 3 CN 114565675 A 3