(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210105852.1 (22)申请日 2022.01.28 (71)申请人 苏州大学 地址 215137 江苏省苏州市相城区济学路8 号 申请人 江苏省中以产业 技术研究院 　 司岚光电科技 （苏州） 有限公司 (72)发明人 余雷　侯君怡　付晓凡　金一凡　 徐浩楠　 (74)专利代理 机构 苏州翔远专利代理事务所 (普通合伙) 32251 专利代理师 叶丙静 (51)Int.Cl. G06T 17/05(2011.01) G06T 7/73(2017.01)G06V 10/44(2022.01) G06V 10/46(2022.01) (54)发明名称 一种基于多传感器融合的快速式差速潜伏 式AGV稠密三维重建方法 (57)摘要 本发明公开的一种一种基于多传感器融合 的快速式差速潜伏式AGV稠密三维重建方法及其 工作方法， 包括如下步骤： 获取移动场景RGB图 像， 对RGB图像进行预处理， 通过特征提取算法进 行提取RGB图像特征， 对图像帧添加关键帧， 对关 键帧进行筛选； 通过位姿测量单元进行检测生成 二维位姿； 将筛选后的关键帧的二维位姿对其三 维位姿进行约束， 得到约束后的位姿， 通过关键 帧的位姿和深度信息进行三维建图， 通过词袋模 型对三维建图进行优化； 去除离散的点云， 将离 散点云对应的关键帧剔除， 形成最终的稠 密三维 重建模型； 根据最终的稠 密三维重建模型构建快 速移动场景的实验平台。 权利要求书2页 说明书8页 附图3页 CN 114782639 A 2022.07.22 CN 114782639 A 1.一种基于多传感器融合的快速 式差速潜伏式AGV稠密三维重建方法， 其特征在于， 包 括如下步骤： 获取移动场景RGB图像， 对RGB图像进行预处理， 通过特征提取算法进行提取RGB图像特 征， 对图像帧添加关键帧， 对关键帧进行筛 选； 通过位姿测量单 元进行检测生成二维位姿； 将筛选后的关键帧的二维位姿对其 三维位姿 进行约束， 得到约束后的位姿， 通过关键帧的位姿和深度信息进行三维建图， 通过词袋模型对三维建图进行优化； 去除离散的点云， 将离 散点云对应的关键帧剔除， 形成最终的稠密三维重建模型； 根据最终的稠密三维重建模型构建快速移动场景的实验平台。 2.根据权利要求1所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， 位姿测量单元包括二 维激光雷达、 惯 导传感器以及轮速计中的一种或 两种以上的组合。 3.根据权利要求1所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， 图像特征提取具体包括ORB特征点检测算法， ORB特征点检测算法为 FAST检测子和BRIEF描述子结合形成， 使用FAST进行特征点检测， 接着从得到的候选FAST特 征点中， 提取 出Harris角点的最大响应特 征点， 其中Har ris角点的响应函数如下： R＝detM‑α(traceM)2其中， 定义R为角点 响应函数， 通过判断R的大小 来判断像 素是否为 角点。 α 为 一个经验常数， 通常取值0.04 ‑0.06。 M矩阵为各维均值平均化的协方差矩阵。 4.根据权利要求1所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， 还包括词袋模型优化后计算Sim3， 进 行全局优化， 去除离散的点云， 将 离散点云对应的关键帧剔除， 形成最终的稠密三维重建模型。 5.根据权利要求4所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， ORB特征点检测法采用了灰度质心法来进行修正， 灰度质心法中包括 几何中心P与灰度中心Q， 将几何中心P作为该坐标系下的零 点， 得到灰度质心的坐标为： 其中M10为所有X轴的灰度 值之和， M01为所有Y轴的灰度 值之和， M00为该像素块内所有灰 度值之和； ORB特征点的角度计算公式为： θ ＝atan2(m01,m10)。 6.根据权利要求1所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， 还包括运载小 车， 运载小 车为差速潜伏式自动引导小车， RGB ‑D相机和 激光雷达搭 载在差速潜伏式自动引导小车 上。 7.根据权利要求6所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特征在于， 所述运载小车包括IMU惯导传感器、 工控机与单片机， 通过IMU惯导传 感器将小车运动的四元数传递给工控机， 同时通过二维激光雷达将二维点云传递给工控 机， 单片机作对电机驱动器发送控制命令， 同时接收电机驱动器的轮速数据； 通过串口将轮速数据发送给工控机， 进行二维拓扑地图的建立。权　利　要　求　书 1/2 页 2 CN 114782639 A 28.根据权利要求7所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特 征在于， 运载小车携带相机从三维运动降到 了二维运动， 进行 添加地面约束， 对于长度为单位长度的正交基(e1,e2,e3)， 经过一次变换后成为了平面上的(e1′,e2′, 0)， 对于三维下的旋转矩阵R： 而添加地 面约束后， 旋转矩阵R中的e3′为 因此平面约束下的旋转矩阵R ′为： 9.根据权利要求8所述的一种基于多传感器融合的快速式差速潜伏式AGV稠密三维重 建方法， 其特 征在于， 在平面约束下的平 移向量t′为： 因此， 在平面约束下的SE ′(3)如下式所示： 其中， T是变换矩阵。 SE(3)指的是变换矩阵构成的特殊欧式群。 SO(3)指的是三维旋转 矩阵构成的特殊 正交群； 通过对已优化的位姿 进行地面约束处 理， 将相机运动整体降维。权　利　要　求　书 2/2 页 3 CN 114782639 A 3