(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210282552.0 (22)申请日 2022.03.22 (71)申请人 山东省国土测绘院 地址 250102 山东省济南市经十东路临港 南区2301号 申请人 应急管理部大 数据中心 (72)发明人 张立国　张新菊　江海燕　刘传安　 王丽　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06F 16/25(2019.01)G06F 9/48(2006.01) G06F 16/23(2019.01) (54)发明名称 一种全链路数据整合方法及系统 (57)摘要 本发明涉及一种全链路数据整合方法及系 统， 所述方法包括如下步骤： 步骤1、 通过引接业 务数据、 物联设备数据形成数据资源池； 步骤2、 通过数据质量检测方法判断数据质量； 步骤3、 通 过数据分层分域、 标准转换、 去重处理数据形成 数据编目； 步骤4、 最终通过零编码的数据服务功 能提供整合后的数据。 本发明提供的系统为行业 构建完善、 共享、 统一管理数据环境提供基本保 障， 是把行业的监测数据、 业务数据等数据的数 据作为资产管理的有效手段。 权利要求书1页 说明书4页 附图4页 CN 114626822 A 2022.06.14 CN 114626822 A 1.一种全链路数据整合方法， 其特 征在于， 包括如下步骤： 步骤1、 通过引接业 务数据、 物联设备 数据形成数据资源 池； 步骤2、 通过 数据质量检测方法判断数据质量； 步骤3、 通过 数据分层分域、 标准 转换、 去重处 理数据形成资源数据编目； 步骤4、 最终通过零编码的数据服 务功能提供整合后的数据。 2.根据权利要求1所述的一种资源数据整合方法， 其特 征在于， 还 包括： 对数据库、 中间件、 文件系统的多源异构的数据进行引接适配。 3.根据权利要求1所述的一种资源数据整合方法， 其特 征在于， 还 包括： 采用组件化可拖拽式设计和动态SQ L式的数据质量检测 和数据清洗 。 4.根据权利要求1所述的一种资源数据整合方法， 其特 征在于， 还 包括： 结合数据标准和大 数据平台进行 可视化数据建模。 5.根据权利要求1所述的一种资源数据整合方法， 其特 征在于， 还 包括： 结合数据分级分类和用户权限管控实现零编码的数据服 务。 6.一种全链路资源数据整合系统， 其特征在于， 包括： 数据源模块、 任务调度模块、 数据 引接模块、 数据处理模块、 数据编目模块和数据服务模块， 通过各个模块协作配合， 整合数 据全链路数据； 其中， 数据源模块利用Cl assLoader技术， 采用插件化机制， 在内存中对不同的数据库驱动隔 离管理， 避免冲突； 提供数据源SDK给有数据查询需求的功能模块， 即数据引接模块和数据 处理模块， 实现数据源动态加载； 任务调度模块采用分布式调度 技术， 调度作为master,执行方作为worker， 可配置任务 调度周期， 按照年月日时分周期调度数据处理和数据服务任务， master利用分布式锁控制 worker调度和执行， 多个wor ker采用伪分布式机制， 采用单点部署， 或根据并发量扩展多个 worker节点； 数据引接模块包括数据库引接、 物联设备数据实时采集和消息中间件数据引接， 其中 数据库引接模块引用数据源SDK,通过数据库提供的JDBC接口引接数据、 物联设备数据引接 通过适配物联设备协议， 实时引接物联数据写入消息中间件， 消息中间件数据引接通过订 阅消费模式， 监听消息中间件topic， 实时消费数据； 数据处理模块通过组件化配置方式， 可视化设计数据处理流程， 包括去重、 字符串替 换、 json解析、 时间格式转换， 提交到任务调度模块； 数据编目根据资源业务梳理数据资源分类， 按照树型结构编排目录体系， 形成资源数 据资产， 数据开发者选择 数据资产对外发布； 数据服务模块以零编码的方式， 提供可视化SQL编辑窗口， 数据开发者编写SQL并发布 为数据服务， 数据服务经审核通过后向其他数据需求方提供查询和订阅功能， 数据需求方 根据数据服 务开发规范调用数据服 务接口获取 数据。权　利　要　求　书 1/1 页 2 CN 114626822 A 2一种全链路数据整合 方法及系统 技术领域 [0001]本发明涉及计算机物联网领域， 尤其涉及一种全链路资源数据整合方法及系统。 背景技术 [0002]行业内存在大量的业务系统和物联设备， 目前已有大量的存量数据， 系统和物联 设备运行随时产生增量数据。 但是当前情况是数据分散， 标准缺 失， 缺乏技术手段对数据 汇 聚处理， 无法形成统一有效、 有价值的数据。 在当前数据作为生产资料的时代， 如何有效汇 聚、 处理数据， 形成行业的数据资产目录， 并通过数据服务能力， 提高各部门之间、 以及本部 门与其他部门之间的业 务协同能力， 对行业具有重大意 义。 发明内容 [0003]本发明主要解决的技术问题是提供一种数据整合和价值变现系统， 本发明的系统 通过数据引接、 数据处理、 数据编目、 数据服务功能， 实现资源类数据的整合和价值变现。 通 过引接业务系统、 物联设备数据形成数据资源池， 通过数据质量检测方法判断数据质量， 通 过数据分层分域、 标准转换、 去重等规则处理数据形成资源数据编目， 最 终通过零编 码的数 据服务功能提供数据价值变现的通道。 本发明通过引接、 处理数据， 形成资源数据编目， 并 以灵活的方法提供 数据服务， 提高数据在业 务联动中的利用价 值。 [0004]本发明的技 术方案为： 一种全链路数据整合方法， 包括如下步骤： [0005]步骤1、 通过引接业 务系统、 物联设备 数据形成数据资源 池； [0006]步骤2、 通过 数据质量检测方法判断数据质量； [0007]步骤3、 通过 数据分层分域、 标准 转换、 去重处 理数据形成资源数据编目； [0008]步骤4、 最终通过零编码的数据服 务功能提供整合后的数据。 [0009]根据本发明的另一方面， 提出一种全链路数据整合系统， 包括： 数据源模块、 任务 调度模块、 数据引接模块、 数据处理模块、 数据编目模块和数据服务模块， 通过各个模块协 作配合， 整合数据全链路数据； 其中， [0010]数据源模块利用ClassLoader技术， 采用插件化机制， 在内存中对不同的数据库驱 动隔离管理， 避免冲突； 提供数据源SDK给有数据查询需求的功能模块， 即数据引接模块和 数据处理模块， 实现数据源动态加载； [0011]任务调度模块采用分布式调度技术， 调度作为master,执行方作为worker， 可配置 任务调度周期， 按照年月日时分周期调度数据处理和数据服务任务， master利用分布式锁 控制worker调度和执行， 多个worker采用伪分布式机制， 采用单点部署， 或 ‑‑‑根据并发量 扩展多个worker节点。 [0012]数据引接模块包括数据库引接、 物联设备数据实时采集和消息中间件数据引接， 其中数据库引接模块引用数据源SDK,通过数据库提供的JDBC接口引接数据、 物联设备数据 引接通过适配物联设备协议， 实时引接物联数据写入消息中间件， 消息中间件数据引接通 过订阅消费模式， 监听消息中间件topic， 实时消费数据；说　明　书 1/4 页 3 CN 114626822 A 3