(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210408478.2 (22)申请日 2022.04.19 (71)申请人 中国联合网络通信集团有限公司 地址 100033 北京市西城区金融大街21号 (72)发明人 刘学福　王建成　周必书　黄深能　 邓禹　邓海宇　张震　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 朱颖　黄健 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 指针式仪表读数识别方法、 装置、 电子设备 及存储介质 (57)摘要 本申请涉及人工智能技术领域， 提供一种指 针式仪表读数识别方法、 装置、 电子设备及存储 介质， 该方法包括： 获取待测图像， 并将待测图像 输入到深度学习网络模型中， 得到多个 关键点的 特征数据； 其中， 每三个关键点构建一段圆形弧 线， 每两段半径不同、 但圆心重合的圆形弧线构 成包含待测图像的指针仪表刻度的弧形区域； 计 算待测图像上每一个关键点的特征数据与待测 图像对应的模板图像上关键点对应的特征数据 的匹配度， 并基于匹配度得到包含指针的弧形区 域， 识别弧形区域中的指针读数。 这样， 可以直接 识别出待测图像的关键点的特征数据， 进而精准 识别出指针读数， 提高识别的准确性， 且可以简 化模型的训练过程， 训练模型识别关键点即可。 权利要求书2页 说明书17页 附图5页 CN 114743189 A 2022.07.12 CN 114743189 A 1.一种指针式仪表读数识别方法， 其特 征在于， 所述方法包括： 获取待测图像， 并将所述待测图像输入到深度学习 网络模型中， 得到多个关键点的特 征数据； 其中， 每三个关键点构建一段圆形弧线， 每两段半径不同、 但圆心重合的圆形弧线 构成包含所述待测图像的指针仪表刻度的弧形区域； 计算所述待测图像上每一个关键点的特征数据与所述待测图像对应的模板图像上关 键点对应的特征数据的匹配度， 并基于所述匹配度得到包含指针的弧形区域， 识别所述弧 形区域中的指针读数。 2.根据权利要求1所述的方法， 其特征在于， 所述关键点的特征数据包括特征点数据和 描述子数据； 将所述待测图像输入到深度学习网络模型中， 得到多个关键点的特征数据， 包 括： 将所述待测图像和所述待测图像对应的模板图像输入到深度学习网络模型中进行降 维处理， 得到所述待测图像对应的第一数据和所述模板图像对应的第二数据； 利用损失函数对所述第 一数据和所述第 二数据进行处理， 得到所述待测图像和所述模 板图像各自对应的多个特征点数据和多个描述子数据； 所述特征点数据包括关键点的位置 坐标； 所述描述子数据包括关键点的方向、 对应的半径、 对应的像素点。 3.根据权利要求1所述的方法， 其特征在于， 计算所述待测图像上每一个关键点的特征 数据与所述待测图像对应的模板图像上关键点对应的特 征数据的匹配度， 包括： 将所述待测图像上每一个关键点的特征数据输入到降噪自动编码器中， 筛除所述特征 数据中的噪声数据； 分别计算筛除噪声数据后的特征数据与所述待测图像对应的模板图像上关键点对应 的特征数据的匹配度。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 基于所述匹配度 得到包含指针的 弧形区域， 识别所述弧形区域中的指针读数， 包括： 基于所述待测图像上每一个关键点的特征数据与所述待测图像对应的模板图像上关 键点对应的特 征数据的匹配度， 依次查找所述待测图像对应的匹配特 征数据； 将所述匹配特征数据映射到所述待测图像中， 得到包含指针的弧形区域， 并利用图像 垂直投影法定位所述弧形区域中指针位置， 识别对应的指针读数。 5.根据权利要求4所述的方法， 其特征在于， 基于所述待测图像上每一个关键点的特征 数据与所述待测图像对应的模板图像上关键点对应的特征数据的匹配度， 依次查找所述待 测图像对应的匹配特 征数据， 包括： 针对所述待测图像上每一关键点， 获取所述关键点的特征数据与所述模板图像上关键 点对应的特 征数据的多个匹配度， 并基于所述多个匹配度中的最大值确定目标 特征数据； 将所述待测图像上每一关键点对应的目标特征数据和所述模板图像上关键点对应的 特征数据输入到注意力图神经网络中， 得到所述待测图像对应的第一特征矩阵和所述模板 图像对应的第二特 征矩阵； 计算所述第 一特征矩阵与 所述第二特征矩阵的匹配得分， 并基于所述匹配得分依次查 找匹配特 征数据。 6.根据权利要求5所述的方法， 其特征在于， 计算所述第 一特征矩阵与 所述第二特征矩 阵的匹配得分， 并基于所述匹配得分依次查找匹配特 征数据， 包括：权　利　要　求　书 1/2 页 2 CN 114743189 A 2计算所述第 一特征矩阵与所述第 二特征矩阵的内积， 得到N组匹配得分集， 每组匹配得 分集包括M个匹配得分； 所述第一特 征矩阵为 N行， 所述第二特 征矩阵为M列； 依次查找所述N组匹配得分集中最大值对应的特征数据， 并基于过滤通道对查找到的N 个特征数据进行 过滤， 用于滤 出与所述模板图像上不匹配的关键点对应的数据； 对过滤后的N个特 征数据进行归一 化处理， 得到匹配特 征数据。 7.根据权利要求4所述的方法， 其特征在于， 将所述匹配特征数据映射到所述待测图像 中， 得到包 含指针的弧形区域， 包括： 计算所述匹配特征数据的匹配对信 息； 所述匹配对信 息为与模板图像上关键点匹配好 的所述待测图像上的关键点的位置坐标与匹配得分； 基于所述匹配对信息计算单应矩阵， 所述单应矩阵用于投影到对应的模板图像； 将所述单应矩阵与 所述模板图像上关键点对应的坐标进行仿射变换， 得到包含指针的 弧形区域。 8.根据权利要求4所述的方法， 其特征在于， 利用图像垂直投影法定位所述弧形区域中 指针位置， 识别对应的指针读数， 包括： 对所述弧形区域进行预处理， 并将预处理后的弧形区域进行极坐标转换， 得到矩形区 域； 所述预处 理用于去除干扰数据； 对所述矩形区域进行二值化处理， 并通过垂直投影法获取经过二值化处理后对应的投 影指针的位置坐标； 基于所述位置坐标得到指针位置， 并基于量程范围识别所述指针位置对应的指针读 数； 所述量程范围用于标识位于不同区域对应的指针读数， 每一 量程范围对应有指针读数。 9.一种指针式仪表读数装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待测图像， 并将所述待测图像输入到深度 学习网络模型中， 得到多 个关键点的特征数据； 其中， 每三个关键点构建一段圆形弧线， 每两段半径不同、 但圆心重 合的圆形弧线构成包 含所述待测图像的指针仪表刻度的弧形区域； 处理模块， 用于计算所述待测图像上每一个关键点的特征数据与所述待测图像对应的 模板图像上关键点对应的特征数据的匹配度， 并基于所述匹配度得到包含指针的弧形区 域， 识别所述弧形区域中的指针读数。 10.一种电子设备， 其特征在于， 包括： 处理器， 存储器以及计算机程序； 其中， 所述计算 机程序被存储在所述存储器中， 并且被配置为由所述处理器执行， 所述计算机程序包括用 于执行如权利要求1 ‑8任一项所述的指针式仪表读数识别方法的指令 。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机执 行指令， 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑8任一项所述的指针 式仪表读数识别方法。权　利　要　求　书 2/2 页 3 CN 114743189 A 3