(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210382325.5 (22)申请日 2022.04.12 (71)申请人 中科云谷科技有限公司 地址 201306 上海市浦东 新区南汇新城镇 环湖西二路8 88号C楼 (72)发明人 付玲　杨辉　周志忠　黄跃峰　 王煜　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 陈姝婧 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/50(2022.01) G06V 10/44(2022.01)G06V 10/762(2022.01) G06V 10/74(2022.01) (54)发明名称 基于特征点匹配的设备巡检方法、 处理器及 装置 (57)摘要 本申请涉及工业巡检领域， 具体地， 涉及一 种基于特征点匹配的设备巡检方法、 处理器及装 置。 方法包括： 获取巡检过程中的巡检图片； 从参 考帧集合中选取与巡检图片相似的图片， 以构成 候选参考帧集合； 确定与候选参考帧集合对应的 地图点集； 确定巡检图片 的巡检特征点， 并将巡 检特征点与地图点集进行匹配得到匹配点对， 以 确定地图点集中与巡检特征点匹配的目标地图 点； 在确定地图点集中匹配的目标地图点的占比 达到第一比例值的情况下， 确定地图点集对应的 候选参考帧为目标参考帧； 将目标参考帧对应的 目标零部件确定为巡检图片 包括的目标零部件。 通过上述方案， 通过巡检图片确定巡检的零部 件， 以此保证 巡检的完整性。 权利要求书3页 说明书11页 附图2页 CN 114821407 A 2022.07.29 CN 114821407 A 1.一种基于特 征点匹配的设备巡检方法， 其特 征在于， 所述方法包括： 获取巡检过程中的巡检图片； 从参考帧集合中选取与所述巡检图片相似的图片， 以构成候选参 考帧集合； 确定与所述 候选参考帧集合对应的地图点 集； 确定所述巡检图片的巡检特征点， 并将所述巡检特征点与所述地图点集进行匹配得到 匹配点对， 以确定所述 地图点集中与所述巡检特 征点匹配的目标地图点； 在确定所述地图点集中所述匹配的目标地图点的占比达到第 一比例值的情况下， 确定 所述地图点集对应的候选参 考帧为目标参 考帧； 将所述目标参 考帧对应的目标零部件确定为所述巡检图片包括的目标零部件。 2.根据权利要求1所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述从参考帧 集合中选取与所述巡检图片相似的图片， 以构成候选参 考帧集合包括： 将所述巡检图片输入视觉词袋模型， 以使所述视觉词袋模型根据 所述巡检图片 从所述 参考帧集合中选取与所述巡检图片相似的候选参考帧集合， 其中， 所述候选参考帧集合中 包括多张候选参 考帧。 3.根据权利要求1所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述确定所述 巡检图片的巡检特征点， 并将所述巡检特征点与所述地图点集进行匹配得到匹配点对， 以 确定所述 地图点集中与所述巡检特 征点匹配的目标地图点包括： 确定所述巡检图片的巡检特 征点， 确定每张所述 候选参考帧的第一 参考特征点； 将所述巡检特征点与每张所述候选参考帧的第 一参考特征点进行匹配， 以确定所述巡 检图片与每张所述 候选参考帧的第一匹配特 征点对； 根据所述第一匹配特 征点对确定所述巡检图片的位姿； 根据所述位姿将每张所述候选参考帧对应的地图点重投影至所述巡检图片， 以确定所 述巡检图片的内点数； 在确定存在候选帧的地图点中内点数的占比达到第 二比例值的情况下， 确定所述候选 参考帧对应的地图点 为与所述巡检特 征点匹配的目标地图点。 4.根据权利要求3所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述将所述巡 检特征点与每张所述候选参考帧的第一参考特征点进 行匹配， 以确定所述巡检图片与每张 所述候选参考帧的第一匹配特 征点对包括： 将所述巡检特 征点与所述第一 参考特征点输入所述视 觉词袋模型的叶子节点； 所述视觉词袋模型将同一个叶子节点中的巡检特征点与所述第一参考特征点依次进 行比较， 以确定 巡检特征点与第一 参考特征点之间的第一特 征距离； 将所述第一特 征距离最小的特 征点对确定为第一匹配特 征点对。 5.根据权利要求3所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述根据 所述 位姿将每张所述候选帧对应的地图点重投影至所述巡检图片， 确定所述巡检图片的内点数 包括： 根据所述位姿将每张所述候选参考帧对应的地图点重投影至所述巡检图片， 以得到投 影点； 确定所述地图点对应的像素点， 以得到所述投影点与 所述地图点对应的像素点的误差 距离；权　利　要　求　书 1/3 页 2 CN 114821407 A 2对所述位姿进行调整， 以调节所述 误差距离； 在所述误差距离小于预设阈值的情况 下， 确定所述 位姿为最终位姿； 根据所述最终位姿将每张所述候选参考帧对应的地图点重投影至所述巡检图片， 以确 定所述巡检图片的内点数。 6.根据权利要求1所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述在获取巡 检过程中的巡检图片之前， 还 包括： 采集巡检过程所在的环境图片； 提取所述环境图片的特征点， 并通过所述视觉词袋模型生成与 所述环境对应的词袋向 量， 并通过 所述词袋向量对图片的特 征点进行表征。 7.根据权利要求1所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述在获取巡 检过程中的巡检图片之前， 还 包括： 采集各个待识别零部件的零部件图片； 并确定所述零部件图片的特征点中匹配的特征点对， 以确定所述零部件图片对应的位 姿以及地图点； 调整所述 零部件图片对应的位姿， 以确定所述 零部件图片的最优地图点； 根据所述零部件图片的特征点与所述零部件图片的最优地图点确定所述零部件的参 考帧以及所述 零部件的地图点 集。 8.根据权利要求7所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述采集各个 待识别零部件的零部件图片， 并确定所述零部件图片的特征点中匹配的特征点对， 以确定 所述零部件图片对应的位姿以及地图点包括： 对所述零部件图片进行 特征提取， 得到所述 零部件图片的特 征点； 针对任意两张相邻的零部件图片， 对所述相邻的零部件图片的特征点进行匹配以确定 第二匹配特 征点对。 9.根据权利要求8所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述针对任意 两张相邻的零部件图片， 对所述相邻的零部件图片的特征点进行匹配以确定第二匹配特征 点对包括： 确定两张所述相邻的零部件图片中， 分别属于不同的零部件图片中的任意两个特征点 之间的第二特 征距离； 将所述第二特 征距离最近的两个特 征点组成的特 征点对确定为第二匹配特 征点对。 10.根据权利要求9所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述确定所 述零部件图片对应的位姿以及地图点包括： 根据所述第二匹配特 征点对确定每张所述 零部件图片的旋转矩阵和平 移矩阵； 根据所述旋转矩阵和所述平移矩阵确定每张所述零部件图片对应的位姿以及所述地 图点。 11.根据权利要求7所述的基于特征点匹配的设备巡检方法， 其特征在于， 所述调整所 述零部件图片对应的位姿， 以确定所述 零部件图片的最优地图点包括： 将所述地图点重投影至所述 零部件图片中， 以得到投影点； 确定所述地图点对应的像素点， 以得到所述投影点与 所述地图点对应的像素点的误差 距离；权　利　要　求　书 2/3 页 3 CN 114821407 A 3