全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210706119.5 (22)申请日 2022.06.21 (71)申请人 正数网络技 术有限公司 地址 450000 河南省郑州市郑东 新区金水 东路39号中国河南出版产业园D座6-7 楼 (72)发明人 李良昆 岳正飞 杨融 高攀  (74)专利代理 机构 郑州意创知识产权代理事务 所(特殊普通 合伙) 41138 专利代理师 张燕红 张岑 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于图形数据库的元数据关系的构建 方法 (57)摘要 本发明公开了一种基于图形数据库的元数 据关系的构建方法, 其特征在于, 包括以下步骤: S1, 通过对各部门业务系统数据库表进行分析, 并生成数据普查报告; S2, 根据各业务系统特点 及数据库版本, 通过ETL工具对各个业务系统进 行ETL任务配置; S3, 将配置好的任务通过大数据 平台进行注册、 治理、 调度操作。 本发明基于 JanusGraph图数据库 构建元数据管理容器, 提升 在政务大规模数据管理与应用过程中元数据识 别、 建模、 元数据关系管理与数据视图生成的效 率与直观 性, 解决关系深度深时的元数据追溯问 题慢, 运行效率差, 不能集群化部署, 支持 并发度 低的问题。 权利要求书1页 说明书5页 附图1页 CN 114925042 A 2022.08.19 CN 114925042 A 1.一种基于图形 数据库的元 数据关系的构建方法, 其特 征在于, 包括以下步骤: S1, 通过对各部门业 务系统数据库表进行分析, 并生成数据普查报告; S2, 根据各业务系统特点及数据库版本, 通过ETL工具对各个业务系统进行ETL任务配 置; S3, 将配置好的任务 通过大数据平台进行注 册、 治理、 调度操作。 2.根据权利要求1所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 在 步骤S1中, 所述数据库表分析步骤为: 首先整理现有 各部门业务系统数据库 表结构, 然后分 析各业务系统字段之间的关联关系和真实的字段含义。 3.根据权利要求1所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 所 述大数据平台包括数据治理平台、 任务调度平台。 4.根据权利要求3所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 在 步骤S2中, 所述ETL工具用于对各业务系统数据进行采集, 并将各个元数据与数据进行耦 合, 并将采集完成的元 数据和数据通过 所述数据治理平台对元 数据进行 管理。 5.根据权利要求4所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 所 述数据治理平台对元数据进行管理的实现方式为: 通过微服务方式对采集元数据进行数据 关联, 并将生成的关联关系直接写入到Janus Graph库。 6.根据权利要求5所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 所 述任务调度平台用于对数据治理平台治理完成的数据进行数据仓库分层构建综合库或专 题数据库。 7.根据权利要求6所述一种基于图形数据库的元数据关系的构建方法, 其特征在于, 所 述任务调度平台在 对数据进行调 度过程中, 数据流向通过日志组件将数据最 终流向更新到 JanusGraph库。权 利 要 求 书 1/1 页 2 CN 114925042 A 2一种基于图形数据库的元数据关系 的构建方法 技术领域 [0001]本发明属于图形数据库技术领域, 尤其涉及一种基于图形数据库的元数据关系的 构建方法。 背景技术 [0002]为贯彻落实国家数字政府建设总体规划, 加快推动数字政府建设, 使政府职能逐 步转变, 从原先的管理方式转变为先进的服务方式。 在 政府职能转变过程中, 必须打破现有 政府部门之间的信息壁垒, 不断推动政府数据开发共享、 推动资源整合, 提升治理能力。 同 时, 政府部门通过建设省市县大数据中心方式, 对各个部门使用的业务系统数据库进行集 中整合, 形成数据仓库对外开放共享。 在数据仓库对外共享使用的过程中, 存在数据标准不 统一、 数据关联关系不清晰等情况, 导致很多共享数据变成问题元数据, 造成数据共享效率 低下, 共享数据无法直接使用等问题。 [0003]当前广泛使用的元数据血缘关系构建主要以传统关系型数据库为主, 虽然能够对 元数据进行追溯, 但在实际使用过程中存在一定的限制和 缺陷。 如首先无法追溯关系深度 大于一定数据值的元数据, 在对关系深度小于一定数据值的元数据进行追溯时, 运行效率 较差; 其次, 需要开发技术接口配合数据追溯, 有比较高的技术门槛; 再次, 支持并发度较 低, 无法支撑高并发业务等。 而政务类元数据更加强调对数据追溯的时效性与准确性, 因此 现有元数据血缘关系构建在政务数据应用上存在缺陷, 无法有效支撑 。 发明内容 [0004]针对现有技术不足, 本发明的目的在于提供一种基于图形数据库的元数据关系的 构建方法, 基于JanusGraph图数据库构建元数据管理容器, 提升在政务大规模数据管理与 应用过程中元数据识别、 建模、 元数据关系管理与数据视图生成的效率与直观 性, 解决关系 深度深时的元 数据追溯问题 慢, 运行效率差, 不能集群化部署, 支持并发度低的问题。 [0005]本发明提供如下技 术方案: 一种基于图形 数据库的元 数据关系的构建方法, 包括以下步骤: S1, 通过对各部门业 务系统数据库表进行分析, 并生成数据普查报告; S2, 根据各业务系统特点及数据库版本, 通过ETL工具对各个业务系统进行ETL任 务配置; S3, 将配置好的任务通过大数据平台进行注册、 治理、 调度操作。 将配置好的任务 注册到大数据平台任务调度中心, 对业 务系统数据库进行采集。 [0006]优选的, 在步骤S1中, 所述数据库表分析步骤为: 首先整理现有各部门业务系统数 据库表结构, 然后分析 各业务系统字段之间的关联关系和真实的字段含义。 [0007]优选的, 所述大 数据平台包括数据治理平台、 任务调度平台。 [0008]优选的, 在步骤S2中, 所述ETL工具用于对各业务系统数据进行采集, 并将各个元 数据与数据进 行耦合, 并将采集完成的元数据和数据通过所述数据治理平台对元数据进 行 管理。说 明 书 1/5 页 3 CN 114925042 A 3

PDF文档 专利 一种基于图形数据库的元数据关系的构建方法

文档预览
中文文档 8 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共8页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于图形数据库的元数据关系的构建方法 第 1 页 专利 一种基于图形数据库的元数据关系的构建方法 第 2 页 专利 一种基于图形数据库的元数据关系的构建方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:02:26上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。