全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210744086.3 (22)申请日 2022.06.28 (71)申请人 成都数联云算科技有限公司 地址 610041 四川省成 都市中国(四川)自 由贸易试验区成都 高新区吉泰五路88 号3栋5层8号、 9号 (72)发明人 不公告发明人   (74)专利代理 机构 成都云纵知识产权代理事务 所(普通合伙) 51316 专利代理师 熊曦 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 16/21(2019.01) (54)发明名称 一种分布式数据库 同步方法及系统及装置 及介质 (57)摘要 本发明公开了一种分布式数据库 同步方法 及系统及装置及介质, 涉及数据同步技术领域, 所述方法包括以下步骤: 配置分布式数据库的第 一参数信息; 配置数据库管 理系统的第二参数信 息; 配置满足分布式数据流处理单元运行的第三 参数信息; 解析并校验所述第一参数信息、 所述 第二参数信息和所述第三参数信息, 得到解析校 验结果; 基于所述解析校验结果, 创建结构化查 询语言和生成实时入仓代码脚本; 将所述结构化 查询语言和所述实时入仓代码脚本上传到所述 分布式数据流处理单元发布并执行同步任务得 到数据同步结果。 本发明采用分布式数据流处理 单元来执行数据同步任务, 提升了同步效率, 显 著减少分布式数据库全量数据同步时间。 权利要求书2页 说明书8页 附图1页 CN 115080663 A 2022.09.20 CN 115080663 A 1.一种分布式数据库同步方法, 其特 征在于, 所述方法包括以下步骤: 配置分布式数据库的第一 参数信息; 配置数据库管理系统的第二 参数信息; 配置满足分布式数据流处 理单元运行的第三 参数信息; 解析并校验所述第一参数信息、 所述第二参数信息和所述第三参数信息, 得到解析校 验结果; 基于所述 解析校验结果, 创建结构化 查询语言和生成实时入仓代码脚本; 将所述结构化查询语言和所述实时入仓代码脚本上传到所述分布式数据流处理单元 发布并执 行同步任务得到数据同步结果。 2.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 所述方法在第 一页 配置所述第一参数信息, 所述方法在第二页配置所述第二参数信息, 所述方法在第三页配 置所述第三 参数信息 。 3.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 判断所述分布式数 据库是否开启变更数据捕获功能, 若否, 则终止任务并提示用户开启所述分布式数据库的 变更数据捕获功能。 4.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 所述第一参数信 息、 所述第二参数信息和所述第三参数信息的校验方式包括: 判断所述第一参数信息是否 满足第一预设参数配置要求, 若否, 则提示设置相应参数信息; 判断所述第二参数信息是否 满足第二预设参数配置要求, 若否, 则提示设置相应参数信息; 判断所述第三参数信息是否 满足第三预设参数配置要求, 若否, 则提 示设置相应参数信息 。 5.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 所述第一参数信 息、 所述第二参数信息和所述第三参数信息的检验方式还包括: 判断所述第一参数信息的 类型是否 分别满足第一预设类型, 若否, 则提示更改所述第一参数信息的类型; 判断所述第 二参数信息的类型是否分别满足第二预设类型, 若否, 则提示更改所述第二参数信息的类 型; 判断所述第三参数信息是否 分别满足第三预设类型, 若否, 则提示更改所述第三参数信 息的类型。 6.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 创建结构化查询语 言具体包括创建流表语句和生成包含插入数据 代码的结构化查询语句; 基于所述结构化查 询语句, 生成所述实时入仓代码脚本 。 7.根据权利要求6所述的一种分布式数据库同步方法, 其特征在于, 基于所述结构化查 询语句, 生成所述数据库管理系统的资源端脚本文件和连接端脚本文件。 8.根据权利要求1所述的一种分布式数据库同步方法, 其特征在于, 将所述流表语句和 所述实时入仓代码上传到所述分布式数据流处 理单元发布并执 行同步任务包括: 构建作业图, 将所述作业图提交至作业管理器; 所述作业管理器解析 所述作业图的逻辑图结构, 优化 生成任务执 行图; 基于所述任务执行图, 所述作业管理器在不同的任务管理器中启动相应数量的任务执 行器, 所述任务执 行器执行数据同步任务并得到数据同步结果。 9.一种分布式数据库同步系统, 其特 征在于, 所述系统包括: 第一配置单 元, 用于配置分布式数据库的第一 参数信息;权 利 要 求 书 1/2 页 2 CN 115080663 A 2第二配置单 元, 用于配置数据库管理系统第二 参数信息; 第三配置单 元, 用于配置满足分布式数据流处 理单元运行的 的第三参数信息; 解析单元, 用于解析并校验所述第一参数信息、 所述第二参数信息和所述第三参数信 息, 得到解析 校验结果; 创建单元, 用于基于所述解析校验结果, 创建结构化查询语言和生成实时入仓代码脚 本; 执行单元, 用于将所述结构化查询语言和所述实时入仓代码上传到所述分布式数据流 处理单元发布并执 行同步任务得到数据同步结果。 10.一种分布式数据库同步装置, 包括存储器、 处理器以及存储在所述存储器中并可在 所述处理器上运行 的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如 权利要求1 ‑8中任意一个所述基于分布式数据库同步方法的步骤。 11.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于, 所述计算机程序被处理器执行时实现如权利要求1 ‑8中任意一个所述分布式数据库同 步方法的步骤。权 利 要 求 书 2/2 页 3 CN 115080663 A 3

PDF文档 专利 一种分布式数据库同步方法及系统及装置及介质

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种分布式数据库同步方法及系统及装置及介质 第 1 页 专利 一种分布式数据库同步方法及系统及装置及介质 第 2 页 专利 一种分布式数据库同步方法及系统及装置及介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:02:19上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。