全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221071980 3.7 (22)申请日 2022.06.23 (71)申请人 中核核电运行 管理有限公司 地址 314300 浙江省嘉兴 市海盐县秦 三厂 25号楼 (72)发明人 杨沥铭 伍吉泽 葛旭阳 张立侠  李强 郭强 刘忠良 潘炼 肖薇  吴宝华 陆萍  (74)专利代理 机构 核工业专利中心 1 1007 专利代理师 王朋 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/25(2019.01) G06Q 50/06(2012.01) (54)发明名称 核电站数据清洗方法及装置 (57)摘要 本公开属于核电技术领域, 具体涉及一种核 电站数据清洗方法及装置。 本公开主要依托各业 务对象的数据标准, 并通过给各生产业务对象属 性配置数据清洗规则, 以实现在对相关的生产业 务对象数据采集时, 按配置的规则进行数据清 洗。 在本公开提供的技术方案中, 提供多种多样 的数据清洗规则, 规则支持自定义拓展, 可根据 自身业务诉求, 进行自定义数据清洗规则拓展, 灵活地满足核电厂数据相关人员不同的数据清 洗需求。 此外, 本公开可与生产业务对象数据标 准进行交互, 保证数据的标准性、 准确性、 一致 性。 权利要求书1页 说明书6页 附图1页 CN 115495444 A 2022.12.20 CN 115495444 A 1.一种核电站数据清洗方法, 其特 征在于, 所述方法包括: 确定需要 进行数据清洗的数据源, 创建数据清洗任务; 针对所述数据清洗任务, 按照数据清洗需求设置数据标准和清洗规则; 根据所述数据 标准从所述数据源采集数据, 并根据 所述清洗规则对采集到的数据进行 数据清洗转换, 得到清洗后的数据。 2.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 在检测到清洗后的数据与 预设数据规则存在偏差的情况下, 将该数据发送至关联的账 户; 在检测到清洗后的数据与 预设数据规则相匹配的情况下, 将该数据存储至目标数据源 中。 3.根据权利要求1所述的方法, 其特征在于, 所述数据清洗规则配置属性对应的数据清 洗规则, 每 个属性配置一个或多个清洗规则。 4.根据权利 要求1所述的方法, 其特征在于, 所述数据源配置RESTful接口, 通过调用所 述数据源提供的RESTful接口, 在通过 预设的账户验证的情况 下, 从所述数据源 采集数据。 5.根据权利要求1所述的方法, 其特征在于, 通过统一接口调入待清洗的数据, 各次调 用接口的情况下, 传入不同的实体名称、 实体属性。 6.一种核电站数据清洗装置, 其特 征在于, 所述装置包括: 创建模块, 用于确定需要 进行数据清洗的数据源, 创建数据清洗任务; 设置模块, 用于针对所述数据清洗任务, 按照数据清洗需求设置数据标准和清洗规则; 采集清洗模块, 用于根据所述数据标准从所述数据源采集数据, 并根据所述清洗规则 对采集到的数据进行 数据清洗转换, 得到清洗后的数据。 7.根据权利要求6所述的装置, 其特 征在于, 所述装置还 包括: 第一检测模块, 用于在检测到清洗后的数据与预设数据规则存在偏差的情况下, 将该 数据发送至关联的账户; 第二检测模块, 用于在检测到清洗后的数据与预设数据规则相匹配的情况下, 将该数 据存储至目标 数据源中。 8.根据权利要求6所述的装置, 其特征在于, 所述数据清洗规则配置属性对应的数据清 洗规则, 每 个属性配置一个或多个清洗规则。 9.根据权利 要求6所述的装置, 其特征在于, 所述数据源配置RESTful接口, 通过调用所 述数据源提供的RESTful接口, 在通过 预设的账户验证的情况 下, 从所述数据源 采集数据。 10.根据权利要求6所述的装置, 其特征在于, 通过统一接口调入待清洗的数据, 各次调 用接口的情况下, 传入不同的实体名称、 实体属性。 11.一种核电站数据清洗装置, 其特 征在于, 所述装置包括: 处理器; 用于存储处理器可执行指令的存 储器; 其中, 所述处 理器被配置为执 行权利要求1至 5中任意一项所述的方法。 12.一种非易失性计算机可读存储介质, 其上存储有计算机程序指令, 其特征在于, 所 述计算机程序指令被处 理器执行时实现权利要求1至 5中任意一项所述的方法。权 利 要 求 书 1/1 页 2 CN 115495444 A 2核电站数据清洗方 法及装置 技术领域 [0001]本发明属于核电技 术领域, 具体涉及一种核电站数据清洗方法及装置 。 背景技术 [0002]随着近些年来数字化转型在核电厂的推进, 核电厂信息化建设也正在呈现井喷式 建设, 核电厂以其行业特殊性, 其机组运行离不开多专业的协同工作及各专业信息系统的 支持, 其对可靠性、 安全性要求极为苛刻, 需要综合高质量可靠的数据资源提供工作支持, 同时对机组运行期产生的数据进 行数据挖掘及数据沉淀, 也是核电厂 数字化转型的重要工 作。 [0003]目前各生产数据全部分散在相应的信息系统中, 系统间相互独立, 相应的就产生 了数据的孤岛效应, 这些数据在进行数据挖掘及分析时, 需要对数据进行二次处理并进行 相应的清洗转换才可以使用, 由于信息系统及核电业务的复杂性, 势必会生成繁多的数据 清洗任务, 这样就需要对数据源、 目标数据、 转换方式及过程及最 终清洗后的验证都需要独 立管理和配置, 对维护产生较大的压力, 增 加维护成本 。 发明内容 [0004]为克服相关技 术中存在的问题, 提供了一种核电站数据清洗方法及装置 。 [0005]根据本公开实施例的一方面, 提供一种核电站数据清洗方法, 所述方法包括: [0006]确定需要 进行数据清洗的数据源, 创建数据清洗任务; [0007]针对所述数据清洗任务, 按照数据清洗需求设置数据标准和清洗规则; [0008]根据所述数据标准从所述数据源采集数据, 并根据所述清洗规则对采集到的数据 进行数据清洗转换, 得到清洗后的数据。 [0009]在一种可能的实现方式 中, 所述方法还 包括: [0010]在检测到清洗后的数据与预设数据规则存在偏差的情 况下, 将该数据发送至关联 的账户; [0011]在检测到清洗后的数据与预设数据规则相匹配的情况下, 将 该数据存储至目标数 据源中。 [0012]在一种可能的实现方式中, 所述数据清洗规则配置属性对应的数据清洗规则, 每 个属性配置一个或多个清洗规则。 [0013]在一种可能 的实现方式中, 所述数据 源配置RESTful接口, 通过调用所述数据 源提 供的RESTful接口, 在通过 预设的账户验证的情况 下, 从所述数据源 采集数据。 [0014]在一种可能的实现方式中, 通过统一接 口调入待清洗 的数据, 各次调用接 口的情 况下, 传入不同的实体名称、 实体属性。 [0015]根据本公开实施例的另一方面, 提供一种核电站数据清洗装置, 所述装置包括: [0016]创建模块, 用于确定需要 进行数据清洗的数据源, 创建数据清洗任务; [0017]设置模块, 用于针对所述数据清洗任务, 按照数据清洗需求设置数据标准和清洗说 明 书 1/6 页 3 CN 115495444 A 3

PDF文档 专利 核电站数据清洗方法及装置

文档预览
中文文档 9 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共9页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 核电站数据清洗方法及装置 第 1 页 专利 核电站数据清洗方法及装置 第 2 页 专利 核电站数据清洗方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:02:24上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。