全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210295414.6 (22)申请日 2022.03.24 (71)申请人 平安科技 (深圳) 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 梅俊原  (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 路亚芳 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) (54)发明名称 数据同步方法和存 储介质 (57)摘要 本申请适用于大数据技术领域, 提供了一种 数据同步方法和存储介质。 上述方法通过在数据 库的数据进行更新时, 获取更新后的第一待同步 数据, 并根据第一待同步数据, 更新第一数据集, 得到第二数据集, 实现在数据库的数据进行更新 时实时同步数据, 通过提高数据同步的频率减少 每一次数据同步的数据量, 从而在降低对数据库 的性能占用的同时降低了数据同步延时; 还通过 获取数据库预设周期内进行更新的数据, 得到第 二待同步数据, 并根据第二待同步数据, 更新第 二数据集, 得到第三数据集, 实现根据预设周期 定时同步数据, 可以在实时同步数据发生数据遗 漏时再次同步数据, 保证 了数据同步的完整性。 权利要求书2页 说明书10页 附图3页 CN 114676112 A 2022.06.28 CN 114676112 A 1.一种数据同步方法, 其特征在于, 应用于数据分析服务器, 所述数据分析服务器与至 少一个数据库连接, 所述方法包括: 获取所述数据库的所有数据, 生成第一数据集; 在所述数据库的数据进行 更新时, 获取 更新后的第一待同步数据; 根据所述第一待同步数据, 更新所述第一数据集, 得到第二数据集; 获取所述数据库在预设周期内进行 更新的数据, 得到第二待同步数据; 根据所述第二待同步数据, 更新所述第二数据集, 得到第三数据集。 2.如权利要求1所述的数据同步方法, 其特征在于, 所述获取所述数据库的所有数据, 生成第一数据集, 包括: 获取所述数据库的每一条 数据和所述每一条 数据的数据标识, 生成第一数据集; 所述获取 所述数据库在预设周期内进行 更新的数据, 得到第二待同步数据, 包括: 获取所述数据库在预设周期内进行更新的数据, 得到第 二待同步数据和所述第 二待同 步数据的数据标识。 3.如权利要求2所述的数据同步方法, 其特征在于, 所述根据所述第二待 同步数据, 更 新所述第二数据集, 得到第三数据集, 包括: 根据所述第二待同步数据的数据标识, 确定第二数据集中的代替换 数据; 在所述第二待同步数据与 所述代替换数据相同时, 将所述第 二待同步数据录入备份数 据集; 在所述第二待 同步数据与所述代替换数据不同时, 根据所述第二待 同步数据, 更新所 述第二数据集, 得到第三数据集。 4.如权利要求1所述的数据同步方法, 其特征在于, 所述在所述数据库中的数据进行更 新时, 获取 更新后的第一待同步数据, 包括: 在所述数据库的任意一条数据进行更新 时, 将更新后的所述任意一条数据作为第 一待 同步数据并发送至消息队列, 所述消息队列用于存 储所述第一待同步数据; 所述根据所述第一待同步数据, 更新所述第一数据集, 得到第二数据集, 包括: 根据所述第 一待同步数据加入所述消息队列的顺序, 将所述第 一待同步数据 更新至所 述第一数据集, 得到第二数据集。 5.如权利要求1所述的数据同步方法, 其特征在于, 所述在所述数据库的数据进行更新 时, 获取更新后的第一待同步数据之后, 还 包括: 根据所述第一待 同步数据的数据类型, 确定所述第一待 同步数据的索引 类型, 以对所 述第一待同步数据进行分类; 所述获取所述数据库在预设周期内进行更新的数据, 得到第二待 同步数据之后, 还包 括: 根据所述第二待 同步数据的数据类型, 确定所述第二待 同步数据的索引 类型, 以对所 述第二待同步数据进行分类。 6.如权利要求5所述的数据同步方法, 在根据 所述第二待同步数据的数据类型, 确定所 述第二待同步数据的索引类型, 以对所述第二待同步数据进行分类之后, 还 包括: 接收调用指令, 并读取 所述调用指令中包括的指定索引类型; 调用索引类型为所述指定索引类型的第一待同步数据或第二待同步数据。权 利 要 求 书 1/2 页 2 CN 114676112 A 27.如权利要求1至6任一项所述的数据同步方法, 其特征在于, 所述在所述数据库的数 据进行更新时, 获取 更新后的第一待同步数据之后, 还 包括: 获取所述第一待同步数据的加密等级; 根据所述第一待 同步数据的加密等级, 对所述第一待 同步数据执行对应的加密处理, 得到第一加密数据; 所述获取所述数据库在预设周期内进行更新的数据, 得到第二待 同步数据之后, 还包 括: 获取所述第二待同步数据的加密等级; 根据所述第二待 同步数据的加密等级, 对所述第二待 同步数据执行对应的加密处理, 得到第二加密数据。 8.如权利要求7所述的数据同步方法, 其特征在于, 所述根据所述第一待 同步数据, 更 新所述第一数据集, 得到第二数据集, 包括: 根据所述第一加密数据, 更新所述第一数据集, 得到第二数据集; 所述根据所述第二待同步数据, 更新所述第二数据集, 得到第三数据集, 包括: 根据所述第二加密数据, 更新所述第二数据集, 得到第三数据集。 9.如权利要求8所述的数据同步方法, 其特征在于, 所述根据所述第二加密数据, 更新 所述第二数据集, 得到第三数据集之后, 还 包括: 接收调用指令, 并读取 所述调用指令对应的权限等级和拟调用数据; 获取所述拟调用数据的加密等级, 判断所述权限等级是否大于或等于加密等级; 在所述权限等级大于或等于加密等级时, 解密并调用所述拟调用数据; 在所述权限等级 小于加密等级时, 输出调用警示信息 。 10.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在 于, 所述计算机程序被处理器执行时实现如权利要求 1至9任一项 所述的数据同步方法的步 骤。权 利 要 求 书 2/2 页 3 CN 114676112 A 3

PDF文档 专利 数据同步方法和存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据同步方法和存储介质 第 1 页 专利 数据同步方法和存储介质 第 2 页 专利 数据同步方法和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:50:12上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。