全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210731446.6 (22)申请日 2022.06.24 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 刘红云  (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 方艳丽 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/242(2019.01) G06F 16/27(2019.01) G06N 3/04(2006.01) (54)发明名称 基于二进制日志的数据同步方法、 装置、 设 备及存储介质 (57)摘要 本申请实施例提供了一种基于二进制日志 的数据同步方法、 装置、 设备及存储介质, 该方法 通过获取目标数据库的目标SQL语句, 将目标SQL 语句输入至已训练的神经网络模型, 输出目标 SQL语句对应的同步规则, 若同步规则为第一同 步规则, 则将目标SQL语句写入二进制日志, 生成 第一日志数据, 若同步规则为第二同步规则, 则 将目标SQL语句的执行结果写入二进制日志, 生 成第二日志数据, 根据第一日志数据或第二日志 数据对目标数据库进行同步, 实现了自动化确定 目标SQL语句写入二进制日志的适配方式, 使得 同步规则更加准确, 提高了第一日志数据或第二 日志数据生成 效率, 使得根据第一日志数据或第 二日志数据对目标数据库进行同步, 大大提高了 数据同步效率和实时性。 权利要求书2页 说明书9页 附图3页 CN 115080581 A 2022.09.20 CN 115080581 A 1.一种基于二进制日志的数据同步方法, 其特 征在于, 所述方法包括: 获取目标 数据库的目标SQ L语句; 将所述目标SQL语句输入至已训练的神经网络模型, 输出所述目标SQL语句对应的同步 规则, 其中, 所述神经网络模型 是基于样本SQ L语句及其标注的同步 规则标签训练得到; 若所述同步规则为第 一同步规则, 则将所述目标SQL语句写入二进制日志, 生成第一日 志数据; 若所述同步规则为第 二同步规则, 则将所述目标SQL语句的执行结果写入二进制日志, 生成第二日志数据; 根据所述第一日志数据或所述第二日志数据对所述目标 数据库进行同步。 2.如权利要求1所述的基于二进制日志的数据同步方法, 其特征在于, 所述获取目标数 据库的目标SQ L语句, 包括: 获取源数据库对应的接口参数; 根据所述接口参数确定所述源数据库中发生数据变化的待同步事务; 根据所述待同步事务确定目标 数据库; 对所述待同步事务进行转译处理, 生成所述目标数据库对应的所述目标SQL语句, 所述 目标SQL语句记录 了所述发生数据变化的待同步数据及对应的同步模式。 3.如权利要求2所述的基于二进制日志的数据同步方法, 其特征在于, 所述将所述目标 SQL语句写入二进制日志, 生成第一日志数据, 包括: 获取内存文件系统及对应的写入参数; 按照所述写入参数, 将所述目标SQ L语句写入所述内存文件系统中; 从所述内存文件系统中导出 所述第一日志数据。 4.如权利要求2所述的基于二进制日志的数据同步方法, 其特征在于, 所述同步模式包 括删除操作、 更新操作和插 入操作中的一种; 所述将所述目标SQ L语句的执 行结果写入二进制日志, 生成第二日志数据, 包括: 若所述同步模式为更新操作, 则从所述待同步数据中确定发生变化前的第 一数据和发 生变化后的第二数据; 若所述同步模式为插 入操作, 判定所述第一数据为空, 所述第二数据为 新增数据; 若所述同步模式为删除操作, 判定所述第一数据为被删除数据, 所述第二数据为空; 基于所述第一数据、 第二数据及所述同步模式, 生成所述第二日志数据。 5.如权利要求1所述的基于二进制日志的数据同步方法, 其特征在于, 所述根据 所述第 一日志数据或所述第二日志数据对所述目标 数据库进行同步, 包括: 将所述第一日志数据或第二日志数据导入所述目标 数据库。 6.如权利要求1所述的基于二进制日志的数据同步方法, 其特征在于, 在所述将所述目 标SQL语句输入至已训练的神经网络模型之前, 所述方法还 包括: 获取多个样本SQ L语句及其标注的同步 规则标签; 提取各个样本SQ L语句的关键词和运 算符; 将所述关键词、 所述 运算符及对应的所述同步 规则标签构建多个映射矩阵; 将所述映射矩阵和对应的所述同步规则标签输入至所述神经网络模型进行训练, 得到 已训练的神经网络模型。权 利 要 求 书 1/2 页 2 CN 115080581 A 27.如权利要求6所述的基于二进制日志的数据同步方法, 其特征在于, 所述将所述映射 矩阵和对应的所述同步规则标签输入至所述神经网络模型进 行训练, 得到已训练的神经网 络模型, 包括: 按照预设比例, 将所述多个映射矩阵进行随机组合, 得到训练集和 测试集; 将所述训练集和所述测试集输入所述神经网络模型进行预测, 得到已训练的神经网络 模型。 8.一种基于二进制日志的数据同步装置, 其特 征在于, 所述装置包括: 获取模块, 用于获取目标 数据库的目标SQ L语句; 确定模块, 用于将所述目标SQL语句输入至已训练的神经网络模型, 输出所述目标SQL 语句对应的同步规则, 其中, 所述神经网络模型是基于样本SQL语句及其标注的同步规则标 签训练得到; 第一写入模块, 用于若所述同步规则为第一同步规则, 则将所述目标SQL语句写入二进 制日志, 生成第一日志数据; 第二写入模块, 用于若所述同步规则为第二同步规则, 则将所述目标SQL语句的执行结 果写入二进制日志, 生成第二日志数据; 同步模块, 用于根据 所述第一日志数据或所述第 二日志数据对所述目标数据库进行同 步。 9.一种计算机设备, 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述基于二进制日志的数据同步方法的步骤。 10.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于, 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述基于二进制日志的数 据同步方法的步骤。权 利 要 求 书 2/2 页 3 CN 115080581 A 3

PDF文档 专利 基于二进制日志的数据同步方法、装置、设备及存储介质

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于二进制日志的数据同步方法、装置、设备及存储介质 第 1 页 专利 基于二进制日志的数据同步方法、装置、设备及存储介质 第 2 页 专利 基于二进制日志的数据同步方法、装置、设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:49:26上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。