(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357834.2 (22)申请日 2022.04.06 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 张晓峰　陈哲　欧垚君　王梅　 丁红　陶秦　施正阳　魏东　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 张俊俊 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于孪生网络特征与几何验证的回环 检测方法 (57)摘要 本发明公开了一种基于孪生网络特征与几 何验证的回环检测方法， 属于计算机视觉图像技 术领域， 解决了传统方法在光照和视点变化下准 确率较低的技术问题。 其技术方案为： 包括以下 步骤： 步骤1、 获取输入的RGB ‑D图像； 步骤2、 获取 多维特征信息； 步骤3、 提取图像全局特征； 步骤 4、 计算图像间的相似度得分， 根据相似度得分得 到回环候图像； 步骤5、 采用几何一致性检验对两 幅图像的描 述符进行匹配； 步骤6、 采用随机采样 一致性算法消除误匹配； 步骤7、 采用时间一致性 检验进一步进行误匹配的剔除。 本发 明的有益效 果为： 本发明的孪生网络特征具有光照不变性， 几何验证又能获得图像间的几何拓扑信息， 提高 了回环检测的精确率和召回率。 权利要求书3页 说明书6页 附图5页 CN 114861761 A 2022.08.05 CN 114861761 A 1.一种基于 孪生网络特 征与几何验证的回环检测方法， 其特 征在于： 包括以下步骤： 步骤(1)、 获取机器人摄 像机采集的RGB ‑D图像； 步骤(2)、 根据所述RGB ‑D图像获得如下多维特 征信息； 将RGB图像转化为灰度图， 获取图像的强度特征； 根据深度图获取图像的深度特征； 基 于灰度图像 计算边缘特征， 获得图像的边 缘特征信息； 步骤(3)、 根据所述多维特 征信息通过孪生网络提取图像全局特 征； 步骤(4)、 计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离， 并定义成对帧的相似度得分， 将相似度得分大于阈值的图像作为回环候选图像； 步骤(5)、 采用几何验证的方法判断当前图像及其对应的回环候选图像是否构成真正 的回环， 首先对输入图像与得到的回环候选图像分别提取ORB关键点和局部差分二进制描 述符， 然后对两幅图像的描述符进行匹配； 步骤(6)、 采用随机采样一致性算法求解基本矩阵以剔除误匹配， 如果基本矩阵计算成 功， 则选择内点数最多的作为回环候选； 步骤(7)、 进行时间一致性检验， 若当前输入图像之后的连续三帧图像均满足步骤(6) 的阈值条件， 则认为当前输入图像与回环候选图像构成回环。 2.根据权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法， 其特征 在于， 所述 步骤(2)具体包括以下步骤： 步骤(2‑1)、 图像强度： 表示单通道图像像素的强度， 在灰度图像中， 它是图像的灰度， RGB图像的强度特 征通过将原 始彩色图像转换为灰度图像获得； 步骤(2‑2)、 图像的深度信息根据深度图获得， TUM数据集的原始深度图像存在噪声和 许多孔洞， 提供一些点的深度信息， 对其进 行填充获得完整且 可用的深度图像， 使用交叉双 边滤波方法， 对原 始深度图像进行深度信息填充； 步骤(2‑3)、 对于边缘特征， 在 灰度图像的基础 上通过Sobel边缘检测算子计算， 获取图 像的边缘轮廓信息， 图像的边 缘特征在光照变化时是不变的。 3.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法， 其特征在 于： 所述步骤(3)具体包括如下步骤： 步骤(3‑1)、 每个分支结构是基于AlexNet设计的， AlexNet具有八层网络结构体系， 包 括五个卷积层和三个全连接层， 由于全连接层的计算量大， 且在位置识别中的性能不如卷 积层， 提取第一个能够减少特征位置对分类 问题影响的全连层输出作为输出特征， 提取并 表征语义信息， 增强特 征对视点变化的鲁棒 性； 步骤(3‑2)、 根据步骤(2)得到的图像相应特征信息， 选取两帧图像的特征信息， 根据每 帧图像的特征信息构 造一个H×W×3的数组用于存储相应的特征描述符， 即强度、 深度和梯 度； 其中， H和W分别表示图像的高度和宽度， 3表示相应特征信息的维度； 将该特征向量调整 为224*224*3大小， 并传入到孪生网络， 经过卷积池化得到图像的特征图， 再将两个通道特 征进行一次全连接， 得到图像的全局特 征； 步骤(3‑3)、 将特征向量传入到孪生网络获取全局特征， 对于第k个输入样本对， 假设全 连接层输出的特 征向量为fk＝{fk1,fk2}， 所述孪生网络的损失函数为：权　利　要　求　书 1/3 页 2 CN 114861761 A 2其中， N为样本对的数量,m表示阈值是要在损失函数中学习的参数， yk是第k对样本的标 签， dk＝‖ fk1‑fk2‖2表示特征向量之间 的欧式距， yi＝1为正样本， 表示fk1和fk2来自同一类即 两张图片相似； yi＝0表示负样本， fk1和fk2来自不同类， 两张图片相似度较小， 对比损失函 数 表示两张图像之间的匹配程度， 将其用于模型的训练。 4.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法， 其特征在 于,所述步骤(4)具体包括以下步骤： 步骤(4‑1)、 计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距 离， 计算公式如下： 其中， D(Ii,Ij)是图像Ii和Ij之间的距离， fi和fj分别表示图像Ii和Ij提取的全局特征向 量； ||fi||2表示向量fi的L2范数， 图像Ii和Ij之间的相似度定义 为： 其中S(Ii,Ij)表示两个全局特 征向量之间的相似度， 使用归一 化距离获得相似度得分； 步骤(4‑2)、 遍历所有已输入的图像， 得到当前图像全局特征与所有已输入图像全局特 征之间的欧式距离和匹配相似度得分， 如果图像间的相似度等于或者超过指定阈值， 将其 作为回环候选图像。 5.如权利要求4所述的一种基于孪生网络特征与几何验证的回环检测方法， 其特征在 于， 所述骤(4 ‑1)具体包括以下步骤： 在机器人执行环路闭合检测任务时， 由于机器人捕获的图像为连续图像， 相邻图像间 有较高的相似性， 导致环路闭合检测错误； 将 摄像机当前捕获的图像视为查询图像， 将先前 捕获的图像视为数据库图像， 为了避免相邻图像成为环路闭合候选帧， 引入了一个约束来 限制查询图像匹配范围， 在查询图像的匹配范围内具体为： R＝N‑f·T 其中， R表示查询图像的匹配范围； N表示在查询图像之前的所有图像的集合； f为相机 的帧率； T为预定义参数； f ·T为在当前图像之前的f ·T帧图像的集合， 通过加入这个约束， 避免环路闭合检测假阳性问题； 若数据库图像在查询图像的匹配范围R内， 根据这两张图像分别对应的全局特征计算 这两张图像之间的相似度。 6.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法， 其特征在 于,所述骤(5)具体包括以下内容： 对于LDB描述符的提取， 首先提取查询图像Ii与回环候选图像In的ORB特征点， 并以每个 特征点为中心裁剪出大小为s ×s的图像块， 将图像块分割为c ×c个大小相等的网格单元， 分别计算每个网格单元的平均强度Iavg和梯度dx,dy； 对于每个图像块中的任意两个网格单权　利　要　求　书 2/3 页 3 CN 114861761 A 3