全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210355029.6 (22)申请日 2022.04.06 (71)申请人 曙光信息产业 (北京) 有限公司 地址 100193 北京市海淀区东北旺西路8号 院36号楼 (72)发明人 董宇飞 王忠勤 张建磊 周龙  樊本超  (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 严慧 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 9/50(2006.01) G06F 11/20(2006.01) (54)发明名称 一种数据同步方法、 系统、 装置、 设备及 介质 (57)摘要 本发明公开了一种数据同步方法、 系统、 装 置、 设备及介质。 该方法包括: 对源数据库进行监 听, 形成监听日志, 监听日志中包括至少一个同 步数据项, 每个同步数据项中包括操作数据, 以 及与操作数据匹配的操作类型; 根据所述监听日 志, 形成与各同步数据项分别对应的数据同步请 求; 在备选代理服务器集群中, 确定目标代理服 务器; 将各所述数据同步请求发送至目标代理服 务器, 以指示所述目标代理服务器依据负载策略 针对各所述目标数据库执行各所述数据同步请 求。 通过本发明的技术方案, 能够实现高效地进 行数据同步, 提高了数据同步的效率以及可用 性。 权利要求书2页 说明书11页 附图6页 CN 114691781 A 2022.07.01 CN 114691781 A 1.一种数据同步方法, 其特 征在于, 包括: 对源数据库进行监听, 形成监 听日志, 监 听日志中包括至少一个同步数据项, 每个同步 数据项中包括操作数据, 以及与操作数据匹配的操作类型; 根据所述 监听日志, 形成与各同步数据项分别对应的数据同步请求; 在备选代理服 务器集群中, 确定目标代理服 务器; 将各所述数据同步请求发送至目标代理服务器, 以指示所述目标代理服务器依据负载 策略针对各 所述目标 数据库执 行各所述数据同步请求。 2.根据权利要求1所述的方法, 其特征在于, 对源数据库进行监听, 形成监听日志, 包 括: 每当监听到所述源数据库中生成新的日志文件时, 根据所述日志文件的文件大小, 从 所述源数据库中分片获取 所述日志文件中包括的各 所述操作数据项; 将各所述操作数据项作为所述同步数据项, 存 储于所述 监听日志中。 3.根据权利要求1所述的方法, 其特征在于, 根据所述监听日志, 形成与各同步数据项 分别对应的数据同步请求, 包括: 获取与当前处理 的目标同步数据项对应的目标操作数据以及目标操作类型, 并根据 所 述目标操作类型, 确定数据读写类型; 构建与所述数据读写类型匹配的目标数据同步请求, 并将所述目标操作数据以及目标 操作类型加入至所述目标 数据同步请求中。 4.根据权利要求1所述的方法, 其特征在于, 在备选代理服务器集群中, 确定目标代理 服务器, 包括: 在备选代理服务器集群中, 获取当前标识为主机的代理服务器, 作为所述目标代理服 务器; 其中, 所述备选代 理服务器集群 中包括主机和至少一个备机, 所述主机在发生故障时, 触发主备切换, 所述主机在正常运行时, 实时监控 各备机运行状态, 以保证至少一个备机与 所述主机保持同步 正常运行。 5.根据权利要求2所述的方法, 其特征在于, 在每当监 听到所述源数据库中生成新的日 志文件时, 根据所述日志文件的文件大小, 从所述源数据库中分片获取所述日志文件中包 括的各所述操作数据项之后, 还 包括: 保存当前分片的偏移量作为目标偏移量, 当存在 断点问题时, 依据所述目标偏移量从 所述源数据库中接续分片获取 所述日志文件中包括的各 所述操作数据项。 6.一种数据同步系统, 其特征在于, 包括多个数据库、 数据同步服务器、 备选代理服务 器集群, 其中: 所述数据库, 包括用于进行本机数据更新的源数据库, 以及对源数据库中的数据更新 操作进行 数据同步的目标 数据库; 所述数据同步 服务器, 用于执 行如权利要求1 ‑5中任一项所述的方法; 所述备选代理服务器集群中的目标代理服务器, 用于接收所述数据同步服务器发送的 所述数据同步请求, 并依据负载 策略针对各 所述目标 数据库执 行各所述数据同步请求。 7.根据权利要求6所述的系统, 其特 征在于, 所述目标代理服 务器具体用于: 依据所述数据同步请求, 获取各个操作数据、 与各个操作数据匹配的操作类型以及操权 利 要 求 书 1/2 页 2 CN 114691781 A 2作类型的数据读写类型; 若目标操作 数据匹配的当前操作类型为数据读类型, 且目标操作数据匹配的前序操作 类型为数据读类型, 则依据负载策略针对各所述目标数据库并行执行当前操作与前序操作 对应的数据同步请求; 若目标操作 数据匹配的当前操作类型为数据写类型, 则依据负载策略针对各所述目标 数据库排队执 行当前操作对应的数据同步请求。 8.一种数据传输装置, 其特 征在于, 包括: 日志监听模块, 用于对源数据库进行监听, 形成监 听日志, 监听日志中包括至少一个同 步数据项, 每 个同步数据项中包括操作数据, 以及与操作数据匹配的操作类型; 请求生成模块, 用于根据所述监听日志, 形成与各同步数据项分别对应的数据同步请 求; 代理服务器确定模块, 用于在备选代理服 务器集群中, 确定目标代理服 务器; 数据传输模块, 用于将各所述数据同步请求发送至目标代理服务器, 以指示所述目标 代理服务器依据负载 策略针对各 所述目标 数据库执 行各所述数据同步请求。 9.一种电子设备, 其特 征在于, 所述电子设备包括: 至少一个处 理器; 以及 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的计算机程序, 所述计算机程序被所 述至少一个处理器执行, 以使所述至少一个处理器能够执行权利要求1 ‑5中任一项所述的 数据同步方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机指 令, 所述计算机指令用于使处 理器执行时实现权利要求1 ‑5中任一项所述的数据同步方法。权 利 要 求 书 2/2 页 3 CN 114691781 A 3

PDF文档 专利 一种数据同步方法、系统、装置、设备及介质

文档预览
中文文档 20 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据同步方法、系统、装置、设备及介质 第 1 页 专利 一种数据同步方法、系统、装置、设备及介质 第 2 页 专利 一种数据同步方法、系统、装置、设备及介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:43:54上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。