(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340734.9 (22)申请日 2022.04.02 (71)申请人 国网江苏省电力有限公司泰州供电 分公司 地址 225309 江苏省泰州市凤 凰西路2号 (72)发明人 刘黎　徐俊　廖小云　欧阳利剑 　 (74)专利代理 机构 武汉强知 知识产权代理事务 所(特殊普通 合伙) 42303 专利代理师 张炜平 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自动巡检图像的外置表盘在线识别方 法 (57)摘要 本申请属于自动巡检图像的处理方法技术 领域， 尤其涉及一种自动巡检图像的外置表盘在 线识别方法。 包括如下步骤： 巡检图像预增强处 理； 自动巡检图像的可识别度筛选； 巡检图像数 据库的建立； 基于ResNet残差网络确定锚框属 性； 本申请的基于自动巡检图像的外置表盘在线 识别方法能够针对现有机器识别技术对于次要 和局部信息识别能力不足的问题， 提出一种针对 于巡检图像中所含有的外置表盘特症进行在线 识别和提取的方法， 其能够 有效筛选和定位巡检 图像中外置表盘所在区域实现表盘的自动定位 识别， 为实现在线数据收集和处 理提供基础。 权利要求书3页 说明书6页 附图1页 CN 114627298 A 2022.06.14 CN 114627298 A 1.一种基于自动巡检图像的外 置表盘在线识别方法， 其特 征在于， 包括如下步骤： (一)巡检图像预增强处 理； 1.1.通过中值滤波对原 始的巡检图像进行处 理， 抑制干扰信息； 1.2.进行明暗度增强处 理， 使前述敏感度突变的巡检图像的特 征属性一致； (二)自动巡检图像的可识别度筛 选； 利用巡检图像自身像素值得方差作为标准对巡检图像的可识别性进行判断； 具体步骤 包括： a1.获取原 始图像， 灰度值变换， 得到以个 像素点像素值标示 值的灰度图G0(x,y)； a2.基于拉普拉斯方差算 法对原始灰度图G0(x,y)进行锐化处理得到 得到新的锐化灰度 图G1(x,y)； a3.建立锐化灰度图G1(x,y)的可识别度指标 其中 μ为锐化灰度图G1(x,y)的像素均值且 根据系统需求指定可识别指标阈值ω0， 以指标值ω超过指标阈值ω0的图像作为可识 别予以保留， 以指标值ω低于指标阈值ω0的作为不可识别图像予以筛除； (三)巡检图像数据库的建立； 抽取经过处理的巡检图像数据库中的60％～90％数据建立训练数据库， 抽取剩余的 40％～10％数据建立测试 数据库； (四)基于ResNet 残差网络确定锚框属性； 利用ResNet残差网络从巡检图像中提取得到特征属性； 根据特征属性构建锚框； 利用 交并比判断确定前 景背景锚框； 利用ResNet残差网络和锚框对巡检图像进行特征提取， 得到包含有外置表盘特征属性 的锚框； 利用平均池化层从锚框 定位含有外 置表盘特 征属性的区域 最终形成特 征属性图； 利用全连接层对特征属性图进行分类和锚框回归训练， 完成特征属性图的分割处理， 并将其映射到对应的巡检图像上， 完成巡检图像的特征属 性分割提取， 同时基于训练好的 锚框以及分割 结果形成掩膜； 利用掩膜图像对巡检图像的非特征区进行二值化处理， 删除 非表盘区域数据。 2.根据权利要求1所述的一种基于自动巡检图像的外置表盘在线识别方法， 其特征在 于， 所述步骤1.2具体包括： 以拍摄地点或角度获取的相同目标的巡检图像作为分类基准， 对原始巡检图像进行分 类筛选， 得到拍摄地 点或角度记 忆拍摄目标相同的若干 巡检图像数据集； 对前述巡检图像数据集中的巡检图像进行灰度化处理， 获取巡检图像的灰度直方图； 统计所有 灰度直方图非零值的分布区间； 抽取灰度直方图非零值分布于 分布区间两端10％ ～30％区间长度的图像作为异常组， 以剩余图像构成参照组； 统计参照组内所有灰度直方图的高度值并按照高度值进行排序； 按照从低到 高的顺序 删除其中的30～50％的高度值后计算平均值作为上限； 按照从高到低的顺序删除其中的 30％～50％的高度值后计算平均值作为下限；权　利　要　求　书 1/3 页 2 CN 114627298 A 2以前上限和下限构 成阈值范围对异常组内所有图像进行筛选处理， 将超出范围的部分 剔除。 3.根据权利要求1所述的一种基于自动巡检图像的外置表盘在线识别方法， 其特征在 于， 所述步骤(四)中， 交并比定义 其中KI为某表盘特征在特征图上框定的真实范围； Ki为基于 锚框参数在特 征图中框 定的锚框范围； 还包括对锚框进行转换以使其更加接 近真实特 征边界的步骤， 具体包括： 4.1构建用于表示原始锚框m0(x0,y0,w0,h0)向修正后的有效锚框m(x,y,w,h)以及真实 锚框m(x' ,y',w',h')转换的向量 转换模型： 其中x,y为有效锚框中心坐标， w,h为有效锚框尺寸(像素尺寸值)； x0,y0为原始锚框中 心坐标， w0,h0为原始锚框尺寸； x',y'为真实锚框中心坐标， w',h'为真实锚框尺寸； tx为原 始锚框向修正后的有效锚框转换的x向平移量； ty为原始锚框向修正后的有效锚框转换的y 向平移量； tw为原始锚框向修正后的有 效锚框转换的w向尺寸缩放量； th为原始锚框向修正 后的有效锚框转换的尺寸缩放量； t'x为原始锚框向真实锚框转换的x向平移量； t'y为原始 锚框向真实锚 框转换的y向平移量； t'w为原始锚 框向真实锚 框转换的w向尺寸缩放量； t'h为 原始锚框向真实锚框转换的尺寸缩放 量。 4.2指定损失阈值， 利用ResNet残差网络以及损失函数对锚框进行训练和修正得到有 效锚框， 以使修 正后的有效锚框更接 近真实锚框； 损失函数为： 4.根据权利要求1所述的一种基于自动巡检图像的外置表盘在线识别方法， 其特征在 于， 所述步骤(三)还包括对巡检图像数据进行容量扩充的步骤， 采用的扩充方案包括以下 一种或几种： 基于待识别表盘的偏移扩充， 具体是指， 以巡检图像 中待识别表盘的中心点为出发点， 使用滑动框在原巡检图像上进行各方向偏移， 将滑动框截取的图像补充至巡检图像数据 库， 偏移操作要求保证待识别表盘在新图像中的比例不低于偏移前 的比例， 最删除重复图 像； 基于待识别表盘的旋转扩充， 具体是指， 以巡检图像中待识别表盘的中心作为圆点进 行不同角度的旋转， 将旋转后得到的新图像补充至 巡检图像数据库， 最后删除重复图像；权　利　要　求　书 2/3 页 3 CN 114627298 A 3