(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210708048.2 (22)申请日 2022.06.22 (71)申请人 江南大学 地址 214000 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 曹毅　张小勇　许天旗　高清源　 夏宇　 (74)专利代理 机构 无锡盛阳专利商标事务所 (普通合伙) 32227 专利代理师 黄莹　顾吉云 (51)Int.Cl. B25J 9/16(2006.01) G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/75(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于动态实时视觉SLAM方法的移动机 器人 (57)摘要 本发明提供的一种基于动态实时视觉SLAM 方法的移动机器人， 其通过设置图像 分割模块和 视觉SLAM模块， 将图像采 集模块获取的环境图像 数据分别输入到图像分割模块和视觉SLAM模块 中， 将图像分割处理和位姿估计操作并行处理， 通过在Lucas ‑Kanade稀疏光流模块、 二次剔除模 块中分别进行异常点的剔除， 图像 分割模块输出 的动态图像帧在二次剔除模块中参与第二次异 常点剔除的操作， 不但提高识别准确率， 而在确 保位姿估计精度的基础上， 极大地提高了处理效 率， 确保本发 明技术方案能够在动态环境下进行 实时位姿估计， 使移动机器人能够更灵活的适用 于不同的应用场景。 权利要求书3页 说明书8页 附图5页 CN 115056224 A 2022.09.16 CN 115056224 A 1.一种基于动态实时视觉SLAM方法的移动机器人， 其包括： 图像采集模块、 动态视觉 SLAM模块和控制器， 其特 征在于： 所述动态视 觉SLAM模块包括： 视 觉SLAM模块和图像分割模块； 所述视觉SLAM模块、 所述图像分割模块分别与图像采集模块 通信连接； 所述控制器通过串口通信连接所述动态视 觉SLAM模块； 所述图像采集模块获取环境的RGB图像信息和 深度信息后， 将RGB图像信息和 深度信息 以RGB图像序列和深度图像序列的方式进 行传输， 记作待处理数据； 所述图像采集模块将所 述待处理数据分别发送到所述视 觉SLAM模块和所述图像分割模块中； 所述待处理数据送入所述视觉SLAM模块中进行识别操作； 所述视觉SLAM模块 中对待处 理数据的处 理操作流 程与所述图像分割模块中对所述待处 理数据的操作流 程并行进行； 所述视觉SLAM模块包括： 顺序连接的Lucas ‑Kanade稀疏光流模块、 二次剔除模块、 特征 匹配位姿估计模块； 所述图像分割模块中对所述待处理数据中的RGB图像帧通过语义分割网络进行目标检 测， 得到动态对象的语义分割图像后， 再进 行阈值分割处理， 最 终得到得到只有动态对象的 动态图像帧， 并将所述动态图像帧送入到所述视 觉SLAM模块中的所述 二次剔除操作中； 所述Lucas ‑Kanade稀疏光流模块模接收所述图像采集模块输入的当前RGB图像帧提取 ORB特征点后， 基于Lucas ‑Kanade稀疏光流法进行异常特征点的剔除后， 将所述待处理数据 的ORB特征点送入所述 二次剔除模块中， 进行二次剔除操作； 所述二次剔除模块中设置动态特征点容器， 在进行所述二次剔除操作前， 先确认是否 接收到了所述图像分割模块发出的新的动态图像帧； 如果接收到了， 则将新接收的动态图像帧记作： NewImg， 使用NewImg对所述动态特征点 容器进行 更新， 再使用所述动态特 征点容器对所述待处 理的ORB特 征点进行二次剔除操作； 如果没有接收到动态图像帧更新， 则直接利用所述动态特征点容器中已有的特征点， 对所述待处 理数据的ORB特 征点进行 所述二次剔除操作； 所述二次剔除模块将进行所述二 次剔除操作之后的所述待处理数据的ORB特征点送入 到所述特 征匹配位姿估计模块中； 在所述特征匹配位姿估计模块中， 对所述待处理数据的ORB特征点进行特征匹配， 进行 机器人的位姿估计得到位姿估计， 并构建出环境的三维点云地图； 将所述位姿估计结果、 所述三维点云地图发送给所述控制器， 所述控制器基于所述位 姿估计结果、 所述三维点云地图， 进行二维占据栅格地图的构建， 根据期望目标位置， 完成 机器人的轨 迹规划， 并控制机器人运动。 2.根据权利要求1所述一种基于动态实时视觉SLAM方法的移动机器人， 其特征在于： 所 述Lucas‑Kanade稀疏光 流模块中进行的异常特 征点的剔除流 程， 具体包括以下步骤： a1： 所述Lucas ‑Kanade稀疏光流模块接收所述图像采集模块输入的当前RGB图像帧， 记 作prevImg； a2： 所述Lucas ‑Kanade稀疏光流模块对待处理的图像帧prevImg进行ORB特征点的检 测， 提取得到 ORB特征点， 完成稀 疏光流点的初始化， 并将prevImg的图像帧与特征点的坐标 数据进行保存； a3： 接收prevImg的下一组所述RGB图像帧， 记作： nextImg；权　利　要　求　书 1/3 页 2 CN 115056224 A 2a4： 基于Lucas ‑Kanade稀疏光流法， 对prevImg和nextImg计算光流， 进行ORB特征点跟 踪， 得到每 个ORB特征点的跟踪状态status； a5： 计算每 个所述ORB特 征点的误差值er rors； 将每一个误差值er rors与预设的误差值阈值er rors_value进行比较； 如果所述ORB特征点跟踪成功， 且误差值errors大于误差值阈值errors_value， 则所述 ORB特征点为设置异常特 征点； 删除所述异常特 征点； 直至nextImg的ORB特 征点都参与过计算， 执 行步骤a6； a6： 比较nextImg剩余的所述ORB特 征点的数量和预设的特 征点数量阈值， 所述特征点数量阈值表示在进行ORB特 征点跟踪时必须满足的特 征点数量； 当nextImg剩余的所述ORB特征点的数量小于所述特征点数量阈值时， 对nextImg进行 ORB特征点检测， 将得到的ORB特 征点放入nextImg的特 征点集合中； a7： 将nextImg对应的ORB特 征点送入所述 二次剔除模块中； a8： 将nextImg定义 为prevImg， 循环执 行步骤a3～a7。 3.根据权利要求1所述一种基于动态实时视觉SLAM方法的移动机器人， 其特征在于： 所 述二次剔除模块中进行的二次剔除操作， 具包括以下步骤： b1： 接收所述 Lucas‑Kanade稀疏光 流模块送入的所述待处 理数据的ORB特 征点； b2： 确认是否 接收到了所述图像分割模块发出的新的动态图像帧； 如果接收到了， 则将新接收的动态图像帧NewImg， 对动态图像帧NewImg进行ORB特征提 取， 将提取到的特 征点记作： NewORB， 执 行步骤b3； 否则， 直接执 行步骤b6； b3： 读取所述二次剔除模块中现存的动态特 征点， 记作： CurORB； 计算NewORB和CurORB之间的汉明距离d： 其中， d(A,B)表示A和B两特征点之间的汉明距离； Ai和Bi分别为A和B两特征点第i对点 对的二进制描述符； b4： 将NewORB中每 个特征点对应的汉明距离d与预设的距离阈值d_value进行比较； 当d<d_value时， 判定对应的特 征点与现存动态特 征点重复， 从NewORB中删除； b5： 将剩余的NewORB放入CurORB中； b6： 利用动态特 征点容器对所述待处 理数据的ORB特 征点进行二次剔除； 所述二次剔除的过程中， 计算动态特征点容器中特征点与所述待处理数据的ORB特征 点的汉明距离， 记作d_C， 将d_C与预设的距离阈值d_cValue进行比较； 其中， 距离阈值d_cValue， 设置为二次剔除操作中剔除掉20％ 的所述待处理数据的ORB 特征点的值； b7： 将二次剔除后的待处 理数据的ORB特 征点， 送入所述特 征匹配位姿估计模块中。 4.根据权利要求1所述一种基于动态实时视觉SLAM方法的移动机器人， 其特征在于： 所 述图像分割模块中对所述待处 理数据中的RGB图像帧进行分割的过程， 包括以下步骤： c1： 基于Mask R‑CNN模型构建语义分割网络模型； c2： 接收所述 图像采集模块发送的对所述待处理数据中的RGB图像帧， 记作： 待处理图权　利　要　求　书 2/3 页 3 CN 115056224 A 3