全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210318387.X (22)申请日 2022.03.29 (71)申请人 浪潮云信息技 术股份公司 地址 250101 山东省济南市高新区浪潮路 1036号浪潮科技园S01号楼 (72)发明人 邓光超 高传集 江燕 孙思清  方建勋 肖雪  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王燕 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) (54)发明名称 一种增量数据同步方法、 装置、 设备及可读 存储介质 (57)摘要 本申请公开了一种增量数据同步方法、 装 置、 设备及可读存储介质, 方法包括: 控制源数据 库开启CDC, 禁用CDC中的捕获作业; 从源数据库 中获取当前次扫描对应的表结构信息, 将当前次 扫描的表结构信息与上次扫描时对应的表结构 信息进行对比, 以获取表结构变化信息, 且将表 结构变化信息发送 至目的数据库; 利用fn_dblog 从源数据库的日志中扫描获取当前次扫描对应 的日志, 对当前次扫描对应的日志进行解析, 获 取增量数据, 将增量数据发送至目的数据库。 本 申请公开的技术方案, 结合CDC和fn_dblog进行 增量数据的同步, 以防止日志被截断, 同时能识 别表结构变化信息, 且由于无需依赖自增字段, 因此, 可有效且可靠地进行增量数据同步。 权利要求书2页 说明书10页 附图3页 CN 114676149 A 2022.06.28 CN 114676149 A 1.一种增量数据同步方法, 其特 征在于, 包括: 控制源数据库开启CDC, 并禁用所述CDC中的捕获作业, 以使所述源数据库中日志的状 态被标记为待复制状态; 从所述源数据库中获取当前次扫描对应的表结构信 息, 将所述当前次扫描对应的表结 构信息与上次扫描时对应的表结构信息进行对比, 以获取表结构变化信息, 且将所述表结 构变化信息发送至目的数据库; 利用fn_dblog从所述源数据库的日志中扫描获取所述当前 次扫描对应的日志, 并对所 述当前次扫描对应的日志进行解析, 获取增量数据, 并将所述增 量数据发送至所述 目的数 据库。 2.根据权利 要求1所述的增量数据同步方法, 其特征在于, 在利用所述fn_dblo g对最后 一次扫描对应的日志进行解析, 获取增量数据之后, 还 包括: 获取被标记为待 复制状态的日志, 并将所述日志的状态从待 复制状态修改为已分发状 态。 3.根据权利要求1所述的增量数据同步方法, 其特 征在于, 还 包括: 判断所述源数据库中日志的大小是否超过 预设阈值; 若是, 则将所述日志的状态从待复制状态修改为已分发状态。 4.根据权利 要求1所述的增量数据同步方法, 其特征在于, 利用fn_dblog从所述源数据 库的日志中扫描获取 所述当前次扫描对应的日志, 包括: 根据设置的结束LSN、 预设查询条数及上次扫描时对应 的最大LSN, 利用所述fn_dblog 从所述源数据库的日志中扫描获取所述当前次扫描对应的日志; 其中, 当所述当前次扫描 为第一次扫描时, 则所述上次扫描时对应的最大LSN 为设置的初始LSN。 5.根据权利要求1所述的增量数据同步方法, 其特 征在于, 还 包括: 若确定所述表结构变化信息出现错 误, 则进行报错。 6.根据权利要求1所述的增量数据同步方法, 其特 征在于, 还 包括: 将所述表结构变化信息及所述增量数据存 储在本地日志文件中; 将所述表结构变化信息和所述增量数据分别发送至目的数据库, 包括: 定时从所述本地日志文件中获取所述表结构变化信 息及所述增量数据, 并将 获取到的 所述表结构变化信息及所述增量数据分别发送至所述 目的数据库; 其中, 所述表结构变化 信息先于所述增量数据发送至所述目的数据库。 7.根据权利要求6所述的增量数据同步方法, 其特征在于, 将所述表结构变化信 息及所 述增量数据分别发送至所述目的数据库, 包括: 将所述表结构变化信 息及所述增量数据分别传入消息 中间件, 以通过所述消息 中间件 将所述表结构 变化信息及所述增量数据分别 传输至所述目的数据库所在的目的端, 由所述 目的端从所述消息中间件中分别 拉取所述表结构变化信息及所述增 量数据并分别加载到 所述目的数据库中。 8.一种增量数据同步装置, 其特 征在于, 包括: 控制模块, 用于控制源数据库 开启CDC, 并禁用所述CDC中的捕获作业, 以使所述源数据 库中日志的状态被标记为待复制状态; 第一获取模块, 用于从所述源数据库中获取当前次扫描对应的表结构信息, 将所述当权 利 要 求 书 1/2 页 2 CN 114676149 A 2前次扫描对应的表结构信息与上次扫描时对应的表结构信息进行对比, 以获取表结构 变化 信息, 且将所述表结构变化信息发送至目的数据库; 第二获取模块, 用于利用fn_dblog从所述源数据库的日志中扫 描获取所述当前次扫 描 对应的日志, 并对所述当前次扫描对应的日志进 行解析, 获取增量数据, 并将所述增量数据 发送至所述目的数据库。 9.一种增量数据同步设备, 其特 征在于, 包括: 存储器, 用于存 储计算机程序; 处理器, 用于执行所述计算机程序时实现如权利要求1至7任一项所述的增量数据同步 方法的步骤。 10.一种可读存储介质, 其特征在于, 所述可读存储介质中存储有计算机程序, 所述计 算机程序被处 理器执行时实现如权利要求1至7任一项所述的增量数据同步方法的步骤。权 利 要 求 书 2/2 页 3 CN 114676149 A 3

PDF文档 专利 一种增量数据同步方法、装置、设备及可读存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种增量数据同步方法、装置、设备及可读存储介质 第 1 页 专利 一种增量数据同步方法、装置、设备及可读存储介质 第 2 页 专利 一种增量数据同步方法、装置、设备及可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:50:08上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。