(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569588.7 (22)申请日 2022.05.24 (71)申请人 西安石油大 学 地址 710065 陕西省西安市雁塔区电子城 街道电子二路东段18号 (72)发明人 燕并男　杨兆昭　李嘉欣　张峰川　 张鑫鹏　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 贺小停 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/24(2022.01) G06V 10/20(2022.01) G06V 10/44(2022.01)G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 30/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 7/62(2017.01) G06T 7/66(2017.01) (54)发明名称 基于机器学习的仪表自动识别方法及系统 (57)摘要 本发明公开了基于机器学习的仪表自动识 别方法及系统， 包括： 采集仪表图片； 对仪表图片 进行预处理， 从预处理后的仪表图片背景中提取 仪表盘图像； 对仪表盘图像分离轮廓、 刻度和指 针； 依据刻度信息判断读数是否受到影响， 若受 到影响， 则将读数通过补全计算进行校正， 得到 校正读数作为识别结果， 若未受到影响， 则直接 获取读数作为识别结果。 本发明能够大大提供仪 表刻度识别效率和精确性。 权利要求书3页 说明书9页 附图12页 CN 114663744 A 2022.06.24 CN 114663744 A 1.基于机器学习的仪表自动识别方法， 其特 征在于， 所述方法包括： 采集仪表图片； 对仪表图片进行 预处理， 从预处 理后的仪表图片背景中提取仪表盘图像； 对仪表盘图像分离轮廓、 刻度和指针； 依据刻度的信息判断读数是否受到影响， 若受到影响， 则将读数通过补全计算进行校 正， 得到校正读数作为识别结果， 若未受到影响， 则直接获取读数作为识别结果， 具体包括： 步骤1： 运用opencv自带的数字库进行学习， 得到所有刻度的刻度数值； 根据 n个刻度数 值Mi以及刻度数值的包围框中心 Oi， 其中i=1,2,…n， 将刻度数值序列{ Mi}按照从小到大的 顺序依次排列成新的序列{  Ai},已知待测仪表的零刻度数值为 S0， 满刻度为 S1， 通过序列{   Ai }的特征判断指针位置和刻度数值的相对位置， 有以下4种情况： 情况1： 若 S0、 S1∈Ai且序列{ Ai }为等差数列， 则指针位置没有遮挡刻度数值； 情况2：S0、 S1∈Ai且序列{ Ai }不为等差数列， 则指针位置遮挡刻度中间数值； 情况3： 若 S0∉Ai， 则指针位置遮挡零刻度数值； 情况4： 若 S1∉Ai， 则指针位置遮挡满刻度数值； 然后， 针对以上4种情况， 通过已检测到刻度数值位置对应的线段的长度 Li,j+1以及相邻 线段的夹角 θj,j+1,j+2完成对漏检刻度数值的定位， i=1,2,...,n‑1， j=1,2,. ..,n‑2； 最后按刻度数值从小到大的顺序依次将对应的包围框中心点连线， 分别记为线段 Oi,i+ 1i=1,2,…n‑1； 将线段进行比较， 取最长线段的中点， 中点坐标即为需要补全的数字刻度坐 标， 数值为最长线段两端的刻度数值之和的一半， 以此对仪表图像进行补全； 步骤2： 对补全后的仪表图像进行二值化处理， 提取仪表图像的所有刻度线轮廓， 具体 为： 在刻度线轮廓的宽高比满足式w/h<v的条件下， 取与步骤1中每个刻度数值包围框距离 最近的刻度线轮廓， 式 中， w和h分别为刻度线轮廓边界矩形的宽与高， v是一个经验值； 步骤3： 从提取到的n个刻度线轮廓的重心中任取3个点 pi， pj， pk， 对应的像素坐标为 (xi  ,yi)， (xj ,yj)， (xk ,yk), i,j,k=1,2, …n， 依据这三个点的像素坐标， 建立 , ， 所示的三个方程， 进而  得到临时的表盘中心坐标 (x0(m), y0(m))， 以及临时的表 盘半径r(m)， m=1,2,…Cn3， Cn3为从n个刻度线轮廓中心随机选 择 三个点， 依据三个点确定圆心的排列组合数量； 重复上述计算多次， 直到覆盖所有坐标组合， 从而得到 Cn3个表盘中心坐标以及表盘半 径估计值， 最后， 分别取这些 中心坐标和半径估计值的平均值即得到表盘中心坐标 以及表盘半径的值 ， 其表达式为 ， ， ； 步骤4： 遍历所有刻度线轮廓和线段 Oi,i+1， 判断是否有刻度线轮廓与线段 Oi,i+1相交， 若 存在刻度线轮廓与其中某个线段相交， 则取该刻度线轮廓的中心线段， 并且判断中心线段 是否同时满足以下两个约束条件： 1)中心线段所在直线A x+By+C=0经过步骤 3所求的表盘中心 ， 即满足以下表达式权　利　要　求　书 1/3 页 2 CN 114663744 A 2， 其中，τ为容许的误差值， A,B,C为 三个常数； 2)中心线段长度 l与表盘半径 满足以下关系: , 其中，δ1与δ2为两个经 验值； 若满足两个约束条件， 则所确定的中心线段所在直线为指针所在的直线， 若不满足两 个约束条件， 那么即使刻度线轮廓 与步骤中1的线段 Oi,i+1相交， 此刻度线轮廓也不 是指针所 在直线； 若存在某个刻度线轮廓与线段 Oi,i+1不相交， 那么将线段 Oi,i+1向下平移， 直到此刻度线 轮廓与线段Oi,i+1相交且满足两个约束条件时， 平移停止， 并记录相交轮廓的中心 线段， 该中 心线段即为指针所在的直线； 步骤5： 通过步骤1 ‑步骤4得到仪表刻度数值、 仪表刻度线轮廓以及指针所在的直线后， 通过距离法或角度法， 得到 仪表的读数。 2.根据权利要求1所述的基于机器学习的仪表自动识别方法， 其特征在于， 所述采集仪 表图片具体为： 通过相机采集需要识别的仪表图片， 并判断仪表图片是否倾斜或歪曲， 若 是， 则对相机角度进行自动调节， 直至得到符合要求的仪表图片。 3.根据权利要求1所述的基于机器学习的仪表自动识别方法， 其特征在于， 所述对仪表 图片进行预处理具体为： 对仪表图片基于Gamma矫正和直方图均衡化方法进 行对比度增强， 得到增强图片； 所述从预处理后的仪表图片背景中提取仪表盘图像具体为： 对预处理后的仪表图片基 于YOLOv5神经网络的特征点进行学习模板匹配， 从预处理后的仪表图片背 景中提取仪表盘 图像。 4.根据权利要求1所述的基于机器学习的仪表自动识别方法， 其特征在于， 所述对仪表 盘图像分离轮廓、 刻度和指针具体为： 对仪表盘图像使用canny边缘检测算法和hough直线 检测方法分离轮廓、 刻度和指针。 5.根据权利要求1所述的基于机器学习的仪表自动识别方法， 其特征在于， 所述距离法 具体为： 对于情况1和情况2， 利用式 即求出待测仪表的读数， 对于情 况3的计算方式， 将指 针直线右侧最近的刻度线轮廓视为左 刻度线轮廓， 将指针直线右侧第 二近的刻度线轮廓视为右刻度线轮廓， 对于情况4将指针直线左侧 最近的刻度线轮廓视为 左刻度线轮廓， 将指针直线左侧第二近的刻度线轮廓视为右刻度线轮廓， 情况3和情况4相 应的仪表示数计算方式为 ， 其中， M与N为分别表示左刻度线轮廓 对应的刻度数字和 右刻度线轮廓对应的刻度数字， da与db分别表示左刻度线轮廓重心到指 针直线和右刻度线轮廓重心的距离， λ是一个修 正值； 所述角度法具体为：权　利　要　求　书 2/3 页 3 CN 114663744 A 3