(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210725338.8 (22)申请日 2022.06.23 (71)申请人 上海航天精密机 械研究所 地址 201699 上海市松江区贵德路1号 (72)发明人 钟珂珂　洪海波　沈义平　郭具涛　 刘欢　徐增光　刘骁佳　 (74)专利代理 机构 中国航天科技专利中心 11009 专利代理师 张晓飞 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) G06F 8/41(2018.01) (54)发明名称 一种航天产品多 源制造数据预处 理方法 (57)摘要 本发明一种航天产品多源制造数据预处理 方法， 该方法涉及适配器、 临时存储区、 历史存储 区、 柔性清洗引擎和有效存储区等核心模块。 首 先由适配器对航天制造过程产生的多源异构数 据进行规则适配； 接着临时存储区根据业务需求 抽取来自各个适配器的临时数据； 柔性清洗引擎 具备清洗规则动态定义能力， 集规则提炼、 规则 解析与编译、 数据检测和数据清洗执行等多功能 于一体， 在完成清洗任务后输出干净有效的数据 集； 最后当航天典型应用平台发送数据请求访问 时， 有效存储区会根据请求要求将结果返回给平 台， 供各种数据分析与业务优化需求； 另外为确 保异构数据源集成过程中原 始数据的协调一 致。 权利要求书1页 说明书4页 附图3页 CN 115185933 A 2022.10.14 CN 115185933 A 1.一种航天产品多源制造数据预处 理方法， 其特 征在于， 包括： 利用适配器对航天产品制造过程产生的多源异构数据进行规则适配， 形成待清洗数据 集A1～An； 临时存储区根据业务需求抽取来自各个适配器的多个待清洗数据集A1～An， 得到待清 洗数据集 合B， 并存 储； 柔性清洗引擎对待清洗数据集合B进行转换、 匹配、 识别与清洗， 完成修复与纠错， 存入 有效存储区， 形成数据集 合C； 当顶层应用平台发送系统请求访 问时， 有效存储区根据请求内容将数据集合C中符合 业务要求的数据提供 给顶层应用平台， 顶层应用平台最终将分析 结果反馈给用户。 2.根据权利要求1所述的方法， 其特征在于， 所述多源异构数据包括属性数据、 设备状 态数据、 工艺过程数据、 在线检测数据。 3.根据权利要求1所述的方法， 其特征在于， 所述多源异构数据源存储在包括Oracle、 SQLServer、 Sybase、 DB2、 Mo ngoDB数据库中的至少三个中。 4.根据权利要求1所述的方法， 其特征在于， 所述适配器包含适配规则， 适配器还具有 连接、 命令和数据读取器功能， 适配器对已解析的原数据文件进 行适配， 并将数据源导入到 临时存储区， 形成待清洗数据集 合B。 5.根据权利要求1所述的方法， 其特征在于， 所述临时存储区指已经经过初步规则适配 后的多个数据集的总和， 并同步备份至历史存 储区。 6.根据权利要求5所述的方法， 其特征在于， 所述柔性清洗引擎包括清洗规则定义模 块、 清洗规则配置模块和清洗规则执 行模块。 7.根据权利要求6所述的方法， 其特征在于， 所述柔性清洗引擎对待清洗数据集合B进 行转换、 匹配、 识别与清洗， 完成修复与纠错， 存 入有效存 储区， 形成数据集 合C包括： 由清洗规则定义模块从待清洗数据集 合B中抽取、 提炼、 定义和存 储规则； 清洗规则配置模块将规则实体与待清洗数据集合B中的属性、 表以及领域进行匹配和 整合， 将待清洗数据转换成统一的便 于进一步检测分析的数据格式； 清洗规则执行模块完成规则的解析、 代码编译以及数据清洗过程， 输出干净的有效数 据集合C至有效存 储区， 同时对原 始的多源异构数据进行逆向清洗， 从而完成数据修 正。 8.根据权利要求7所述的方法， 其特征在于， 所述数据清洗过程具体包括数据检测评估 和数据修复执 行； 数据检测评估： 检测待清洗数据是否符合清洗规则的过程， 若符合， 存入有效存储区， 若不符合， 执 行数据修复命令； 数据修复执行： 进行数据修复， 包括纠正错误、 删除重复、 统一规格、 修正逻辑、 转换构 造、 压缩数据、 补足残缺。 9.根据权利要求7所述的方法， 其特征在于， 所述逆向清洗过程包括： 根据数据清理过 程中产生的数据反向查找原始数据并修改原始数据中对应的错误， 使原始数据达到一致和 准确。权　利　要　求　书 1/1 页 2 CN 115185933 A 2一种航天产品多源制造数据预处理 方法 技术领域 [0001]本发明涉及 航天产品制造过程多感知设备数据预处理领域， 具体是一种航天产品 多源制造数据预处 理方法。 背景技术 [0002]航天产品的制造过程数据 源涵盖铸造、 机加、 焊接、 钣金、 热处理、 装配、 试验、 检验 等主要工艺环节中关键工艺设备、 单机系统、 检测装置等对象所生成、 汇总的多源异构数 据。 同时， 在 多感知设备数据采集系统中， 每一种传感器所提供的信息都受环 境状态和感知 设备本身特性的制约， 为了消除或减少制 造过程数据采集对后端应用造成的不准确 性， 从 而满足应用系统对数据质量日益增长的高要求， 需要构建一种新型、 柔性、 高效的数据预 处 理方法。 [0003]从本质上来说， 数据清洗方法是整个数据预处理的核心。 目前， 基于规则的数据清 洗方法因其简洁且清洗效果显著而占据重要位置， 然而， 对比主流的几种方法发现， 很少有 方法支持多规则之 间逻辑运算并且实现属性与规则的解耦， 传统数据 清洗方法通过硬编码 方法来执行清洗逻辑， 且面向多个数据源存在清洗规则可扩展性、 动态柔性和继承重用性 较差的问题， 缺少一种高柔 性的数据清洗引擎和预处 理架构。 发明内容 [0004]本发明解决的技术问题是： 针对现有技术中存在的上述不足， 提供了一种航天产 品多源制 造数据预处理方法， 解决了面向多个数据源时存在的清洗规则可扩展性、 动态柔 性和继承重用性较差的问题。 [0005]本发明是通过以下技 术方案实现的： [0006]一种航天产品多源制造数据预处 理方法， 所述方法包括以下步骤： [0007]利用适配器对航天制造产品过程产生的多源异构数据进行规则适配， 形成待清洗 数据集A1～An； [0008]临时存储 区根据业务需求抽取来自各个适配器的多个待清洗数据集A1～An， 得到 待清洗数据集 合B， 并存 储； [0009]柔性清洗引擎对待清洗数据集合B进行转换、 匹配、 识别与清洗， 完成修复与纠错， 存入有效存 储区， 形成数据集 合C； [0010]当顶层应用平台发送系统请求访问时， 有效存储区根据请求内容将数据集合C中 符合业务要求的数据提供 给平台， 平台最终将分析 结果反馈给用户。 [0011]所述多源异构数据包括属性数据、 设备状态数据、 工艺过程数据、 在线检测数据。 [0012]所述多源异构数据源存储在 包括Oracle、 SQLServ er、 Sybase、 DB2、 MongoDB数据库 中的至少三个中。 [0013]所述适配器包含适配规则， 包括连接、 命令和数据读取器功能， 适配器对已解析的 原数据文件进行适配， 并将数据源导入到临时存 储区， 形成待清洗数据集 合B。说　明　书 1/4 页 3 CN 115185933 A 3