(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210775316.2 (22)申请日 2022.07.01 (71)申请人 国家电网有限公司华 东分部 地址 200120 上海市浦东 新区浦东 南路882 号 申请人 上海辰华网络技 术服务有限公司 (72)发明人 徐尧强　舒乔晔　周瑾　钱晨　 李丽　吴超　卫哲鸣　 (74)专利代理 机构 上海思微知识产权代理事务 所(普通合伙) 31237 专利代理师 周耀君 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 16/25(2019.01)H02J 13/00(2006.01) (54)发明名称 电网调度E MS数据的自动补缺方法 (57)摘要 本发明提供了一种电网调度EMS数据的自动 补缺方法， 包括： 使用ETL调度器从源头读取文件 并调用ETL工具将电网调度EMS数据存入数据库 的目标数据表内； 编写丢点文件检查程序， 检查 目标数据表内的电网调度EMS数据是否有丢点， 如果有， 将 丢点数据对应的丢点文件名的统计结 果保存在丢点统计表中； 编写丢点文件补缺程 序， 从丢点统计表获取丢点文件名， 将丢点文件 名反馈给ETL调度器， ETL调度器读取丢点文件 名， 从源头重新读取丢点文件并调用ETL工具将 丢点文件补缺到目标数据表内。 本发 明可以查询 到数据库中电网调度EMS数据的丢点文件， 并自 动将丢点文件补缺到数据库中， 从而提高了数据 的完整性和及时性。 权利要求书1页 说明书6页 附图2页 CN 114926099 A 2022.08.19 CN 114926099 A 1.一种电网调度E MS数据的自动补缺方法， 其特 征在于， 包括： 使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据存入数据库的目标 数据表内； 编写丢点文件检查程序， 检查所述目标数据表内的电网调度EMS数据 是否有丢点， 如果 有， 将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中； 编写丢点文件补缺程序， 从所述丢点统计表获取丢点文件名， 将所述丢点文件名反馈 给所述ETL调度器， 所述ETL调度器读取丢点文件名， 从源头重新读取丢点文件并调用ETL工 具将所述丢点文件补缺到所述目标 数据表内。 2.如权利 要求1所述的自动补缺方法， 其特征在于， 使用ETL工具将电网调度EMS数据存 入数据库的目标 数据表的方法包括： 将电网调度E MS数据文件上传至SFTP服 务器。 3.如权利要求1所述的自动补缺方法， 其特征在于， 使用Informatica作为所述ETL工 具。 4.如权利要求1所述的自动补缺方法， 其特征在于， 所述目标数据表包括： 电网调度EMS 数据的设备ID、 电网调度EMS数据的时间、 电网调度EMS数据的值和电网调度EMS数据存入 数 据库时的时间戳。 5.如权利要求4所述的自动补缺方法， 其特征在于， 所述电网调度EMS数据的时间具有 规律性， 并且每两个相邻电网调度E MS数据之间的时间差相同。 6.如权利要求5所述的自动补缺方法， 其特征在于， 检查所述目标数据表内的电网调度 EMS数据是否有丢点的方法包括： 查询电网调度E MS数据的时间是否有缺失； 以及 如果有， 则找到 丢失的时间所对应的电网调度E MS数据。 7.如权利要求1所述的自动补缺方法， 其特征在于， 所述丢点统计表的内容包括： 丢点 文件类型、 丢点文件名和时间戳。 8.如权利要求1所述的自动补缺方法， 其特征在于， 所述ETL调度器从源头读取多个类 型的文件， 每 个类型都包括 一个补缺接口文件。 9.如权利要求8所述的自动补缺方法， 其特征在于， 所述ETL调度器根据所述丢点统计 表将所述丢点文件补缺在所述目标 数据表内的方法包括： 将所述丢点文件的名称传至所述补缺接口文件内， 所述ETL调度器根据所述接口文件 内的丢点文件名从源头读取文件， 并调用所述ETL工具将所述补缺接口文件内的丢点文件 的数据补缺至所述目标 数据表内。 10.一种电网调度EMS数据的自动补缺方法， 其特征在于， 设置Windows计划任务， 在每 隔一段特定的时间后， 自动调用丢点文件检查程序和丢点文件补缺程序， 以实现丢点文件 的检测功能和丢点文件的补缺功能。权　利　要　求　书 1/1 页 2 CN 114926099 A 2电网调度EMS数据的 自动补缺方 法 技术领域 [0001]本发明涉及企业数据质量领域， 尤其是涉及一种电网调度EMS数据的自动补缺方 法。 背景技术 [0002]电网企业是数据密集型企业， 电网调度又是电网企业的核心部门， 其日常使用的 EMS系统(能量管理系统)是电网调度非常重要的一套生产系统， 该系统数据是以秒级为单 位实时反映电网的运行状态。 为保存EMS实时数据以进行后续分析应用， 调控中心以1分钟 为时间断面， 从EMS实时库中读取实时的电网数据并抛出成文件， 并将该文件数据集 成进下 游的大数据中心。 EMS系统每分钟抛出的文件有20多个， 全天累计抛出3万多个文件。 这些 EMS数据对于 分析电网运行状态、 实时预警等 都有非常重要的用途， 是企业 非常重要的数据 资产之一。 [0003]在将EMS数据保存进大数据中心的数据库时， 首先会遇到的问题是数据完整性， 在 网络、 磁盘、 数据库和ETL工具等数据接入过程中涉及到的任何软硬件发生故障时， 都可能 造成文件入库失败， 从而造成数据内容不完整。 由于EMS文件每分钟都有20多个， 且7*24小 时都会抛出， 虽然 单个文件入库失败的概率比较小， 但乘以文件数量， 导致经常会发生文件 入库(存入数据库)失败的现象。 除数据完整性问题外， 另一个文件就是文件入库不及时， 在 数据入库正常时， 一般2分钟之内就可完成从EMS抛出到最终数据入库， 而一旦系统发生故 障， 就可能出现较长时间内的数据入库延时甚至不入库， 如果由人工发现数据缺失并补缺， 数据最终入库距离文件抛 出已过去一段时间， 数据及时性很难保证。 发明内容 [0004]本发明的目的在于提供一种电网调度EMS数据的自动补缺方法， 可以查询到数据 库目标表中的电网调度E MS数据的丢点文件， 并自动将丢点文件补缺到数据库中。 [0005]为了达到上述目的， 本发明提供了一种电网调度E MS数据的自动补缺方法， 包括： [0006]使用ETL调度器从源头读取文件并调用ETL工具将电网调度EMS数据 存入数据库的 目标数据表内； [0007]编写丢点文件检查程序， 检查所述目标数据表内的电网调度EMS数据是否有丢点， 如果有， 将丢点数据对应的丢点文件名的统计结果保存在丢点统计表中； [0008]编写丢点文件补缺程序， 从所述丢点统计表获取丢点文件名， 将所述丢点文件名 反馈给所述ETL调度器， 所述ETL调度器读取丢点文件名， 从源头重新读取丢点文件并调用 ETL工具将所述丢点文件补缺到所述目标 数据表内。 [0009]可选的， 在所述的自动补缺方法中， 使用ETL工具将电网调度EMS数据存入数据库 的目标数据表的方法包括： 将电网调度E MS数据文件上传至SFTP服 务器。 [0010]可选的， 在所述的自动补缺方法中， 使用I nformatica作为所述ETL工具。 [0011]可选的， 在所述的自动补缺方法中， 所述目标数据表包括： 电网调度EMS数据的设说　明　书 1/6 页 3 CN 114926099 A 3