(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912368.X (22)申请日 2022.07.29 (71)申请人 华能澜沧江水电股份有限公司 地址 650214 云南省昆明市官渡区世纪城 中路1号 (72)发明人 查荣瑞　徐剑　郑霜　黄志伟　 吕维川　张军辉　邹志平　董杰　 罗航　朋毛当智 　杨雪融　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 刘永康 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06V 10/143(2022.01) (54)发明名称 一种基于图像识别的水电站监控 方法、 装置 及终端设备 (57)摘要 本申请适用于图像识别技术领域， 提供了一 种基于图像识别的水电站监控 方法、 装置及终端 设备， 方法包括： 获取第一目标影像数据， 将第一 目标影像数据输入至第一识别网络模型中进行 处理， 得到对应的第一输出结果， 在检测到第一 输出结果不为正常工作状态时， 获取第二目标影 像数据， 将第二目标影像数据输入至第二识别网 络模型中进行处理， 得到对应的第二输出结果， 在检测到第二输出结果不为正常工作状态时， 生 成异常告警信息并发送至目标 终端。 本申请实现 了基于训练后的神经网络模型自动识别影像数 据中设备是否处于非正常工作状态， 在节省成本 的同时提高了设备检测效率， 基于不同类型的摄 像装置拍摄的图像对设备进行双重检测， 提高了 设备检测精度。 权利要求书3页 说明书17页 附图5页 CN 115331163 A 2022.11.11 CN 115331163 A 1.一种基于图像识别的水电站监控方法， 其特 征在于， 包括： 获取第一目标影像数据； 其中， 第一影像数据为基于第一拍摄装置拍摄得到的图像数 据； 将所述第一目标影像数据输入至第 一识别网络模型中进行处理， 得到对应的第 一输出 结果； 所述第一输出 结果包括 正常工作状态、 异常工作状态或待 核验状态； 在检测到所述第 一输出结果不为正常工作状态时， 获取第 二目标影像数据； 其中， 第二 目标影像数据为由第二拍摄装置发射预设波段光， 并针对所述预设波段光进行响应， 拍摄 得到的图像数据； 将所述第二目标影像数据输入至第 二识别网络模型中进行处理， 得到对应的第 二输出 结果； 所述第二输出 结果包括 正常工作状态、 异常工作状态或待 核验状态； 在检测到所述第 二输出结果不为正常工作状态时， 生成异常告警信 息并发送至目标终 端。 2.如权利要求1所述的基于图像识别的水电站监控方法， 其特征在于， 所述获取第 一目 标影像数据之前， 还 包括： 获取多个第一训练影像数据和第二训练影像数据； 其中， 第一训练影像数据为基于第 一拍摄装置针对第一目标设备拍摄得到的图像数据； 第二训练影像数据为基于第一拍摄装 置针对第二目标设备拍摄得到的图像数据； 基于预设的第 一目标设备和第 二目标设备之间的相关性， 分别对所述第 一训练影像数 据和所述第二训练影 像数据添加相关性标注； 识别每个所述第一训练影像数据中第一目标设备的第一时序状态及每个所述第二训 练影像数据中第二目标设备的第二时序状态， 基于第一时序状态对所述第一训练影像数据 添加对应的时序标注， 基于第二时序状态对所述第二训练影像数据添加对应的时序标注； 其中， 所述第一时序状态包括与所述第一训练影像数据拍摄时间对应的工作状态； 所述第 二时序状态包括与所述第二训练影像数据拍摄时间对应的工作状态； 所述工作状态包括正 常工作状态、 异常工作状态或待 核验状态； 分别对所述第 一训练影像数据和所述第 二训练影像数据进行预处理， 得到预处理后的 第一训练影 像数据和预处 理后的第二训练影 像数据； 将所述预处理后的第一训练影像数据和所述预处理后的第二训练影像数据输入至第 一反馈式神经网络模型中进行预训练， 得到所述第一识别网络模型； 所述第一识别网络模 型用于识别确定所述第一训练影像数据和所述第二训练影像数据中每个设备的工作状态 的第一输出 结果。 3.如权利要求1所述的基于图像识别的水电站监控方法， 其特征在于， 所述获取第 一目 标影像数据之前， 还 包括： 获取多个第三训练影像数据和第 四训练影像数据； 其中， 第三训练影像数据为基于第 二拍摄装置拍摄得到的图像数据； 第四训练影像数据为基于第二拍摄装置针对第二目标设 备拍摄得到的图像数据； 基于预设的第 一目标设备和第 二目标设备之间的相关性， 分别对所述第 三训练影像数 据和所述第四训练影 像数据添加相关性标注； 识别每个所述第三训练影像数据中第一目标设备的第三时序状态及每个所述第四训权　利　要　求　书 1/3 页 2 CN 115331163 A 2练影像数据中第二目标设备的第四时序状态， 基于第三时序状态对所述第三训练影像数据 添加对应的时序标注， 基于第四时序状态对所述第四训练影像数据添加对应的时序标注； 其中， 所述第三时序状态包括与所述第三训练影像数据对应的工作状态； 所述第四时序状 态包括与所述第四训练影 像数据对应的工作状态； 分别对所述第 三训练影像数据和所述第四训练影像数据进行预处理， 得到预处理后的 第三训练影 像数据和预处 理后的第四训练影 像数据； 将所述预处理后的第三训练影像数据和所述预处理后的第四训练影像数据输入至第 二反馈式神经网络模型中进行预训练， 得到所述第二识别网络模型； 所述第二识别网络模 型用于识别确定所述第三训练影像数据和所述第四训练影像数据中每个设备的工作状态 的第二输出 结果。 4.如权利要求1所述的基于图像识别的水电站监控方法， 其特征在于， 所述第 二拍摄装 置为主动 照明摄像装置； 所述在检测到所述第一输出结果不为正常工作状态时， 获取第二目标影像数据， 包括 在检测到所述第一输出结果不为正常工作状态时， 确定与所述第一输出结果对应的待检测 异常设备； 所述待检测异常设备为基于所述第一输出结果确定的， 处于非正常工作状态的 第一目标设备和/或第二目标设备； 基于所述待检测 异常设备生成拍摄命令并发送至所述第 二拍摄装置， 并接收所述第 二 拍摄装置返回的所述第二 目标影像数据； 其中， 第二 目标影像数据为第二拍摄装置基于所 述拍摄命令 向所述待检测异常设备发射预设波段光， 并针对所述预设波段光进行响应， 拍 摄得到的图像数据。 5.如权利要求1所述的基于图像识别的水电站监控方法， 其特征在于， 所述第 一识别网 络模型包括第一级识别神经网络和 第一级分类网络； 所述第一级识别神经网络和所述第一 级分类网络连接； 所述第二识别网络模型包括第二级识别神经网络和第二级分类网络； 所 述第二级识别神经网络和所述第二级分类网络连接 。 6.如权利要求1至5任一项所述的基于 图像识别的水电站监控方法， 其特征在于， 所述 在检测到所述第二输出结果不为正常工作状态时， 生成异常告警信息并发送至目标终端， 包括： 在检测到所述第 二输出结果为异常工作状态时， 确定与 所述第二输出结果对应的目标 异常设备； 所述目标异常设备为基于所述第二输出结果确定的， 处于异常工作状态的第一 目标设备和/或第二目标设备； 确定与所述目标异常设备具有相关性的第 一关联设备， 以及每个第 一关联设备的设备 信息； 所述设备信息包括设备位置信息和设备时序状态； 基于所述第二输出 结果和所述设备信息生成第一告警信息， 并发送至所述目标终端。 7.如权利要求1至5任一项所述的基于 图像识别的水电站监控方法， 其特征在于， 所述 在检测到所述第二输出结果不为正常工作状态时， 生成异常告警信息并发送至目标终端， 还包括： 在检测到所述第二输出结果为待核验状态且检测次数小于2时， 返回执行所述获取第 一目标影 像数据的操作及之后的操作， 将检测次数加一； 其中， 所述检测次数初始值 为零； 在检测到所述第二输出结果为待核验状态且检测次数大于或等于2时， 确定与所述第权　利　要　求　书 2/3 页 3 CN 115331163 A 3